到达魏玛后，不到一个月的光景，歌德就向公爵递呈了一个由维兰德所提的建议，要求把公国学校和教会总院长的职位授给赫尔德。公爵照办。
1744年8月25日诞生于东普鲁士莫哈根的赫尔德，就地理位置和波罗的海的迷雾而言，可以说是康德的同族。他的父亲是一位穷校长和虔信派教徒的合唱指挥，因此这个孩子饱尝不幸。从5岁开始，他的右眼就感染了瘘管病。为了提高家里的收入，他辍学去当塞巴斯蒂安·瑞斯豪的秘书和仆役。瑞斯豪拥有一间可让赫尔德吸收知识的图书室。18岁那年，他被送到柯尼希山施行手术，以拿掉他右眼的瘘管，并在那边的大学学医。那次的手术没成功，大学的解剖课又使这位少年大感恶心，因此他改修神学。
他结交哈曼为友，哈曼拿《哈姆雷特》作为教本教他英文。赫尔德几乎把那本剧本背了下来。他跑去听康德讲授的地理学、天文学和沃尔夫的哲学课。康德非常喜欢他，因此特别免他交学费。赫尔德以翻译和家教赚钱糊口，而且自20岁到25岁在里加的一所教会学校教书。21岁时，他被任命为路德会的牧师，22岁时他成为互助会的会员，23岁时他被指派为靠近里加的两家教会的辅助牧师。22岁时，他突然出版了一部书，名为《革新的日耳曼文学》（?ber die Neuere Deutsche Litteratur）。一年后，他陆续推出了该书的第2卷和第3卷。康德、莱辛、尼古拉、拉瓦特等人对该书作者的学问大为钦佩，他们尤其称赞他摆脱外国文学的束缚，而建立本国文学的雄心。
赫尔德以爱上一位有夫之妇而预示了维特的风尚。他身心交瘁，教会允许他请假休养，而且答应他复职时给他加薪。他向人借钱离开里加（1769年5月23日），从此便未曾再回来过。他乘船到南特，在那边滞留4个月后，便转往巴黎。他遇到了狄德罗和达朗贝尔，可是他从未赢得法国启蒙思潮的青睐。
他的个性适合追求美学，不适合做学问。在巴黎期间，他开始搜集上古的诗作，他在这些诗作中发现了比法国古典文学更多的乐趣。他看过麦克弗森所著的《奥西安诗集》的德文翻译本，宣称这些诗作的技巧比起莎士比亚以后的大部分近代英文诗要高明多了。早在1769年，他即着手撰写他称为“小森林”的美学和文艺批评散文。他在世时，以《批判之林》（Kritische W?lder）的名称出版了3卷。1770年2月，他花了14天的时间，在汉堡和莱辛相聚，结果收获甚丰，然后他去当豪斯顿—高特普王子的家教和玩伴，而且陪他到西日耳曼旅行。在卡瑟尔，他遇见了考古学教授鲁道夫·拉斯佩，不久后者出版了《明希豪森男爵的俄国历险记》（Baron Münchausen’s Narrative of His Marvelous Travels and Campaigns in Russia，1785年）一书。鲁道夫·拉斯佩曾于珀西所著的《古英诗遗作》（Reliques of Ancient English Poetry）一书问世时（1765年），呼吁日耳曼对该书加以注意。赫尔德因此更加相信，诗人们应该放弃温克尔曼和莱辛模仿希腊古典文学作品的呼吁，而更应珍惜他们本国传统，尤其是民俗诗歌和民谣史。
离开王子后，赫尔德便前往达姆施塔特，在那里他碰见了当地的“敏感圈子”，对这批人给予多情的礼赞大为欣赏，他尤其欣赏枢密顾问安德烈斯·豪斯的成为孤儿的小姨子卡罗琳的柔情。他被邀请到一家教会去布道，她也去听道，而大受感动，于是他们相偕到森林里散步，手牵着手，他心动了！他向她求婚。她警告他说，她现在完全依赖姐姐的慷慨解囊而生活，因此不可能带给他什么嫁妆。他也告诉她，他眼下正债台高筑，前途渺茫，而且答应要陪伴王子。他们不订正式的婚约，却协议以函件互道爱意。1770年4月27日，他动身前往曼海姆。
抵达斯特拉斯堡时，赫尔德虽然对意大利心仪已久，却离开王子。他泪腺里的瘘管，此时已阻塞泪管到鼻腔的通道，因此时常引起痛楚。该地大学里的妇科医学教授劳伯斯顿向他保证，施行手术的话，在3个星期内就可医好他的病。赫尔德听了他的话，愿意在无麻醉剂的情况下，通过骨骼凿开一条通道通往鼻孔。结果病毒侵入，赫尔德被困在旅馆的房间内达6个月之久，对手术大感失望，对前途也感黯淡无光。就在这种痛苦和悲观的情绪下，他和歌德见了面（1770年9月4日）。歌德回忆道：“手术时我想办法在场，而且做很多方面的服务。”从赫尔德认为诗可激发人类的本性，而不只局限于“某些上流的知识分子才能欣赏”的看法中，歌德得到很大的鼓励。赫尔德要离开时，袋内分文皆无，歌德“便代他借了一笔钱”，不过赫尔德后来偿还了他。
日耳曼西北部的斯查姆伯格—里普小公国国王威廉·里普伯爵，邀请他到质朴的首都布克伯格当一名宫廷的布道牧师和主教法庭院长，他只好勉强接受。1771年4月，赫尔德离开了斯特拉斯堡市，前往达姆施塔特拜访卡罗琳，到法兰克福看歌德，而于28日抵达了布克伯格。他发现这位伯爵是一位讲求严厉教条的“开明专制君主”。除了音乐之外，该城的一切设施都粗陋得很，因为音乐是在巴赫主持之下才有那么好的环境。为此，赫尔德辞职隐退，避免加入当时日耳曼思想的主流。然而，他出版的书却强烈地影响了这个主流，而且分享了构成狂飙运动的文艺思想。他向日耳曼的作家们保证，倘若他们愿意在本国内，在本国人民的生活当中寻找灵感的话，他们的光辉成就有一天必定会胜过法国人。在哲学和科学界的成就，已证明这句预言完全正确。
他的《论语言的起源》一文，于1770年赢得了由柏林科学院颁发的奖。他一方面诚恳地在文中表明其虔诚之心，一方面排拒语言是上帝创造物的观念。语言是人类的创造物，是感受与思考过程中的自然结果。追本穷源，语言与诗是感情的表达，而表现动作的动词是“八大辞类”的第一要素。另外一卷《另一种历史哲学》（1774年），则把历史看成“一连串事件的自然哲学”。每种文明便是一种生物实体，一株自行诞生、成长、成熟、衰老和死亡的植物，我们应就其时代去研究它，不应存有另一种环境和时代的道德偏见。与当时很多人一样，赫尔德赞赏中古时代是一个想象与感情、诗歌与艺术、淳朴与太平的时代。相反，宗教改革后的欧洲，是一个崇拜国家、金钱、都市奢侈、虚伪和罪恶的时代。他批评启蒙时代是一个盲目崇拜理智的时代，与希腊和罗马古典文化比较起来真是不可同日而语。在所有的历史过程中，正如波舒哀一样，赫尔德望见了上帝之手，但有时这位口若悬河的牧师也会忘掉了他的神学，而且认为“整个世界的变化很少操纵于人，而是决定于不可知的命运”。
他收入微薄，在寂寞的驱使下，他仍然鼓足勇气请问卡罗琳及其姐夫，是否他可以回来娶她为妻。他们同意了，这对情人终于于1773年5月2日，在达姆施塔特结为夫妇。他们一起回到布克伯格住下来，赫尔德借了钱把他的牧师住宅整修一番，以博得妻子的欢心。她服侍了他一辈子，待他忠心耿耿。因为她的存在，原来赫尔德和歌德之间的冷淡友情缓和了。歌德推荐赫尔德接受一个收入较丰的职位时，赫尔德居然欣然接受。1776年10月1日，赫尔德偕其妻到达魏玛，住进一间歌德为他们准备好的房子。此时，使魏玛声名大噪的人员已是四缺一的局面了。
