席勒于1787年7月，有过这样一段记载：“我刚辞别了赫尔德……他的谈吐不俗，语句温文而有力，但他的感情为爱憎左右。”
赫尔德在魏玛的职务很是繁杂，简直没有什么时间写作。身为公爵府邸的牧师，他必须主持爵邸与宫廷里的受洗、坚信礼、婚礼、葬仪等。又身兼公爵直辖区总监，他必须监督牧师的事务与任命，出席宗教法院的会议，及在他信仰容许的范围内布道。公爵直辖区内的学校，都在他的掌理之下，这些学校也成了全德国的楷模。繁杂的职责，加上他患了颈肿的毛病，身子也不大硬朗，他暴躁易怒，他的谈话不时露出歌德所谓的“毫不留情的恶毒”。他跟歌德之间，有3年（1780—1783年）彼此避不照面。公爵本人也痛恶赫尔德的某些布道（歌德说，在听完这种讲道之后，对于一个亲王而言，除了挂冠求去之外，别无第二条正路可走）。连温和的维兰德1777年都说：“我倒是希望赫尔德跟我之间保持距离。”1783年8月28日，歌德利用他本人跟赫尔德的长子同在这一天生日的机会，邀请赫尔德一家共进晚餐，于是他跟赫尔德的宿怨一笔勾销。歌德写道：“我们之间长久以来的阴霾消散了，而我也深信再也不会有阴霾出现了。”一个月后他又写道：“他有我所见过的最高贵、最开明的心灵。”1787年，席勒也说：“赫尔德对歌德甚为心折——他几乎拿歌德当偶像看待。”维兰德与赫尔德终究还是成了相知的朋友，而且在安娜·阿马莉的沙龙里，也是他们两位，而非歌德与席勒，成为群龙之首，并赢得了窦华格公爵夫人的青睐。
赫尔德在他的行政琐事之余，从事早期诗歌的整理工作，搜集了十余国的作品，从俄尔甫斯到奥西安均在其网罗之列，他将之编纂成集出版，这部《民谣集》（1778年）即成为德国浪漫运动的滥觞。正值歌德准备重返古典的理想、形式与文体，并以理智约束感情之际，赫尔德则反抗18世纪的理性主义与17世纪的形式主义，而走向中世纪的信仰、传奇、歌谣与风尚。
1778年，《诗歌对各国风俗与道德的影响》一文获得了巴伐利亚学院的特优奖。赫尔德的这项贡献获得赏识，并于1781年由该学院出版。该文阐述希伯来、希腊与北欧诗歌的衰落，如何由早先吟游诗人将野史、感情与意念以一种自由、流畅的韵律来表现的方式，败落到一种细致造作、学院式的、牵强的韵律，洋洋洒洒的规则，并在城市生活僵化的虚伪中丧失了人的活力。赫尔德认为，文艺复兴把文学从黎民手中夺了过去，又将之禁锢于宫廷里，而且由于印刷术的兴起，书本也取代了活泼的吟游诗人的地位。赫尔德在《论希伯来诗歌的精神》一文中表示，《创世记》应该拿来当诗读，而不宜视之为知识。他说这种诗透过象征揭露的真理与科学由“事实”揭露的真理，是可等量齐观的。
虽然他在科学与历史方面涉猎颇广，但他的宗教信仰仍然在他心里争得了一席之地。在初抵魏玛的头一年，他被人疑为无神论者自由思想家、神秘主义者及主张否认基督的神性与人类的原罪而以理性解释犯罪与救赎的一派论者。他读过由莱辛出版的《赖玛鲁斯的浮芬布托遗稿》（Wolfenbüttel Fragments of Reimarus），因而对基督的神性起了相当的怀疑。他并不是无神论者，只是接受斯宾诺莎的泛神论。1784年，他对雅各比表示：“我不承认有什么超物质的神祇。”他跟随莱辛研究斯宾诺莎哲学，并为斯宾诺莎作辩：“老实说，斯氏哲学使我非常快乐。”1787年《神，几段对语》一书的开头几章，都用于阐释斯宾诺莎思想。在这部论著中，神丧失了他的个体性，而成了宇宙的能或精神，除非是在世界的秩序和人类的精神意识里加以体认，否则即属不可知。然而在致教士的一篇短文中，赫尔德接受了基督奇迹的超自然性和灵魂的不朽。
赫尔德把他散置的哲学论述整理成一本大部头的论著，他谦抑地题为《人类史哲学浅论》。这是18世纪的一部划时代论著，共有4卷，分别于1784年、1785年、1787年和1791年问世。在赫尔德刚毅的个性与贤内助的鼓励下，这部皇皇巨著是理该问世的。
首卷以浮世的“开创”发其端序，故事以当时的天文与地质学为基础，除了将《圣经》视为诗予以引用之外，别无用到《圣经》之处。生命并不由物质演化而来，因物质本身也是活的。肉体与心灵并非分立对峙的东西，而是一种力的两种形式，每个有机体的每一个细胞，都以某种程度涵盖了两种形式。自然中并无可见的外在意志，却有内在意志——每颗“种子”发展成特殊有机体神秘而“完美的决心”。赫尔德并不认为人类源自低等动物，不过，他视人类为动物界的成员之一，跟其他生物一样为粮食与生存而奋斗。人类以直立的姿态而成其为人，这种状态使他发展出一套基于视与听而非嗅与味的感觉系统。前足成了手，于是人可以抓、可以操作、可以掌握、可以思维。上帝或大自然最伟大的产品，就是有理性、有自由、并注定不朽的自觉的心灵。
第2卷“观念”，以人性本善为出发前提。重启初民社会是比较美好与快乐的论战，而且不赞成康德——及稍后黑格尔——所说国家是人类发展的目标的论点。赫尔德鄙视国家。他写道：“在大国家里，多数的人饥饿，少数的人作威作福。多数的人受压迫、被驱向死亡，于是那高高在上、头戴冠冕的蠢材或聪明人，才得以实现他的奇想。”
在第3卷里，赫尔德赞扬雅典的民主政制，这种政治制度使文化得以在人民各个阶层中展开，而将富裕建立在征服与奴役的罗马帝国，则发展成一种褊狭的文化，置民众于贫穷与无知。在人类的历史中，赫尔德看不到什么上帝。与自然合一的上帝，听凭万事万物循着自然律和人类的愚蠢自由发展下去。可是，由于要争生存，在混乱中也浮现了些许进步。互助、社会秩序、道德和法律，都是求生存的一种手段，而人类也就这样缓缓地走向一种人道的文明。然而，人类的进步并不是持续不断的。这是不可能的，因为每个民族的文化是独一的实体，有其固有的特质、其自身的语言、宗教、道德律、文学与艺术。因此也像任何有机体一样，每种文化——除非发生什么意外——总是完善到它自然的极致，而后衰落、死亡。后起的文化不一定胜于前者，好在每种文化的贡献都多少传递些给后继者，人类继承的文化遗产也就日益增多。
第4卷赞美基督教为西方文明之母。中世纪的教皇制对限制君主的独裁与国权的伸张有很大的效果。学院派的贤哲以高妙的文字技巧织就的网，虽无甚意义，但是却把推理的用语与工具锻炼得很锐利。中世纪的学院也汇聚、保存并传递了大部分的希腊与罗马文化，甚至阿拉伯和波斯的科学和哲学。知识界的充溢，日渐不受权力的管束。于是惯例打破了，现代的心智向世界宣告其自由。
赫尔德在他第3卷完稿、第4卷尚未开笔的这段时间，实现了他一访意大利的夙愿。特里尔大主教的枢密顾问达尔贝格，邀请赫尔德陪同他做一次为期颇长的巡游。萨克森—魏玛的公爵及卡罗琳给了他长假，赫尔德于1788年8月7日由魏玛起程上路。他在奥格斯堡与达尔贝格会合时，他发现达尔贝格的情妇是此次巡游中重要的一员。她的参与及种种的要求与身体的不适，对于赫尔德而言，都使此行难如人意。10月，安娜·阿马莉抵罗马。赫尔德辞别了达尔贝格，与阿马莉结伴同行。由于卡罗琳的关系，他很钟爱考夫曼，卡罗琳的信里经常提到歌德，也对歌德甚是怜爱。赫尔德在得知歌德在罗马的生活情形后，又嘴不饶人了起来，他写道：“我在此地的旅游，已很不幸地使歌德那自私自利的存在，一清二楚地展现在我的眼前，简直是比我所能希冀的还要来得清楚。他是无能为力的，那么就由他去吧。”
赫尔德于1789年7月9日回到魏玛。5天后，法国大革命爆发，赫尔德于是变更了他的写作计划。他的第4卷完稿后，即置之一旁，而着手《人性进展尺牍》。他以谨慎的笔调赞同法国大革命，欢迎法国封建制度的瓦解。魏玛公爵与歌德在瓦尔米面对法国大革命而遭受挫败的痛苦时，赫尔德已超越了他早先谨慎的同情态度，走向歌颂真正平安的死亡。
到了老年，赫尔德对知识上的争论仍是饶有兴味。康德对他的《纯粹现象学通论》多有批评，他也对康德的《纯粹理性批判》做尖刻的回敬。他称《纯粹理性批判》是一部以玄学的暗鬼耍弄文字把戏的著作，诸如康氏“先验性综合判断”之说。他否认空间与时间的主观性。他表示，哲学可能要由语言的逻辑分析来做新的尝试——这一点倒是颇有先见之明。
歌德大体上同意赫尔德对康德的批评，不过这没有管住他那张爱嘲弄的嘴。1803年在耶拿，这两个人在同一场合中碰面，其间歌德向一帮朋友朗读他的戏剧新作《自然之女》（Die Natürliche Tochter），赫尔德适巧也在座。赫尔德对在场的朋友们表示，他对该剧很是欣赏，可是等到歌德来请教他的意见时，他又忍不住一语双关地揶揄一番。歌德跟情妇生了一个儿子，这件事赫尔德是清楚的，于是赫尔德不饶人地说：“我对你的自然之子要比《自然之女》更喜欢些。”歌德听后，自是不快。这两人自此再也没有见面。此时赫尔德已退隐，休闲于魏玛的老家，1803年12月18日于宅邸长逝——此时较之席勒仙逝早两年，比维兰德早10年，比歌德早29年。奥古斯都公爵以隆重的葬礼将他葬于圣彼得暨圣保罗大教堂的墓地。赫尔德生前对这位公爵是冒犯累累的。
