拿破仑曾评论道：“《基督教的精神》是一部‘金、铅’之作，但金的成分占绝大多数……夏多布里昂的天分造成了这的不朽和伟大。”对于拿破仑而言，这本著作与教会协同的立场完美地“协同一致”。他特地召见作者，赞誉他是国之瑰宝，并任命（1803年）他为罗马大使馆一等秘书。这位作者以谦虚而骄傲的口吻记载了这次召见的情景：“我没有从事公务的经验，对外交事务也完全不熟悉，但这些他认为都无关紧要。他相信有些头脑不需要实习，即能通达事理。”不久，他就携情妇赴罗马任职，她到罗马不久即永别人世（11月5日），她临死前还叮嘱身旁的夏多布里昂应该回到妻子的身边。
他不久成了教皇的上宾，也成了大使——红衣主教费斯克（拿破仑的母舅）的眼中钉。他向人埋怨说这位出名的作家已越俎代庖，行使了大使的职权。大使不是能够容许这种行为的人，于是他请求撤换这位属员。拿破仑召回夏多布里昂子爵，任命他为瑞士一个小共和国瓦莱的代理公使。夏多布里昂返回巴黎稍做考虑，可是当甘公爵处死的消息一传来，他立刻递上了请辞外交使命的报告。他事后曾说：
我敢离弃拿破仑等于已将自己置于与他同等的地位。他因不忠，使他与我为敌。而我因忠心耿耿，使我与他为敌……过去我对他仰慕，我认为他不仅仅改朝换代而且变革了整个社会，因此我亲近他。然而，我们个性不同，不投机处十之八九。他如果有心枪毙我，我也会毫不迟疑地杀死他。
他并没有遭受任何伤害。由于妻子卧病在床（在没有情妇时，他是爱她的），妹妹露西尔去世（1804年），他脱离了政治生活。不过，不久他找到了一位情妇屈斯丁。1806年他又想换一位新情人诺爱依。诺爱依开出了条件，要他前往巴勒斯坦的圣地一行。他离开了威尼斯的妻子，前往科孚、雅典、士麦那、君士坦丁堡，到达耶路撒冷。回程时，他经过亚历山大港、迦太基、西班牙，1807年6月回到巴黎。在艰苦的旅途中，他表现出了勇敢和坚毅。同时，他也为两本新书费心收集了大批资料。《戴克里先时代的殉道者》（Les Marytrs deDioclétien，1809年）和《巴黎至耶路撒冷游记》（Itinéraire de ParisáJérusalem，1811年），这两更使他声名远播。
在写作这些书期间，他继续攻击拿破仑（拿破仑当时正在泰尔西特谈判和约）。1807年7月4日，他在巴黎《信使报》登载了一篇文章。表面是关于暴君尼禄和史学家塔西佗，但也能自然地引申到拿破仑和夏多布里昂的关系上：
在一片死沉沉的气氛里，除了奴隶的桎梏声、告密者的谄媚声，听不到一丝声息。众人在这个暴君之前战栗，得其恩宠和招其怨恨是同样的危险。这时这位历史大师出现了，他身负着为全国口诛笔伐暴政的重任。尼禄的张狂并不足道，因为塔西佗已在这个帝国出现了。他在恺撒骨灰旁默默无名地长大，但公正的上天已将万世宗师的荣耀赐予这个无名的幼童。史家的角色虽然光荣，但经常也是危险的。不过，有些圣坛，如荣誉的祭坛，即使为人遗弃，仍要做更多的奉献……有利可图的事往往并不足以传诵千古。仁义之举可见的后果往往是苦难、牺牲，不过我们死后，这颗丹心仍能永远跳动，我们的芳名仍能传诵千古，一时的挫折又算得了什么呢？
拿破仑由泰尔西特归来以后，立即勒令这位新塔西佗离开巴黎，同时下令《信使报》不得再刊载他的文章。夏多布里昂更加热烈地为出版自由辩护。他退隐至曾在夏特列的瓦莱-奥克斯-洛普购置的房屋。在此地，他全心全意地准备出版《迪奥克列田的烈士》，删除了可能误解为诋毁拿破仑的章节。1809年，他的哥哥阿尔芒因为替流亡的波旁王子传令给巴黎的奸细，不幸被捕。夏多布里昂写信给拿破仑，为哥哥求情。但拿破仑认为信中的语气傲慢，而将它投入火中。阿尔芒受审定罪，于3月31日被枪决。处刑后一会儿，夏多布里昂才赶到。他永远忘不了当时的情景：阿尔芒横尸于地，脸上身上布满了弹痕，“一只刽子手的狗舐着他的血、他的脑浆”。这天正是1809年的耶稣受难节。
他回到清幽寂静的山谷，撰写《墓中回忆录》来舒缓和埋葬悲哀的情绪。1811年起他开始撰写回忆录，作为旅游、调情、政治生涯之余的调剂（中间时断时续）。1841年，他完成了最后一章，但生前始终不肯出版，因此他称此书为《墓中回忆录》。思想前卫，情感纯真，文体动人。描述拿破仑崩溃后，属下争先恐后、列队向路易誓言永远效忠的丑相：“‘罪’靠着‘恶’进入——塔列朗先生走进来，富歇先生扶着他。”在语气悠闲的字里行间也可以读到自然的描述（文字之美可以媲美《阿达拉》和《勒内》），也可以读到生动的时事记载，如莫斯科焚城。到处洋溢着丰盈的情感：
大地是迷人的母亲，我们来自她的子宫。幼年时她拥抱着我们，她的胸脯盈满着蜜和奶。我们长大后，她供给我们清醇的水源、丰盛的五谷和果实，毫不吝惜……我们死后，她又敞开胸脯，以绿草花朵覆盖我们的躯骸。同时，她偷偷地把我们转化为大地的部分，再生为新颖、秀美的形体。
不时可见哲学的玄思，通常是严肃、沉郁的：“历史不过是同样事件的重复，只是人物时有变迁而已。”这些回忆是夏多布里昂的不朽之作。
他静居乡野，直到1814年。那年，联军节节胜利，已经进逼法国的边界。夏多布里昂有些担忧，他想：这些联军的进展会不会如1792年一样，引起法国人民奋不顾身的抵抗呢？于是，在拿破仑节节败退、背水一战之时，阿尔芒被处死5周年那天，夏多布里昂写了一本铿锵有力的小册子《拿破仑和波旁王朝》（De Buonaparte et Des Bourbons），散发全法国。他肯定地告诉法国人民：“大家可以看到上帝正站在联军的前头，坐在诸王的会议厅里。”他一一数说拿破仑的罪状——处死当甘、卡杜达尔，“折磨、杀害皮舍格吕”，囚禁教皇……由这些“可以看出波拿巴的天性和法国格格不入”。他的罪孽不该由法国人承担。许多统治者曾压制言论出版的自由，但拿破仑变本加厉，他甚至命令报纸不惜牺牲真理，对他歌功颂德。歌颂他治国有道是抹杀事实，他只是建立了有系统的独裁，转赋税为搜刮，转征兵为屠杀。单单俄国一战就有243 610人历经苦难后战死。反观他们的统帅，衣食饱暖，却背弃兵士，逃回巴黎。比较之下，路易十六显得何等高贵，何等仁慈！拿破仑1799年曾质问督政府：“我离开你们时，法国何等蓬勃，如今你们究竟做了些什么使她变得如此呢？”如今夏多布里昂也用同样的口吻，质问拿破仑：
全人类都控诉你，以宗教、道德、自由之名要向你报复，你何处不散布悲哀凄凉？哪个家庭，即使默默无名的家庭，不遭受你的戕害？西班牙、意大利、奥地利、日耳曼、俄国异口同声地讨回他们惨遭杀戮的子女，讨回为你付之一炬的屋舍、城堡、庙宇……世人同声指责你是世上仅见的大罪犯……在世界文明的中心，在教化昌明的时代，你却妄图以野蛮人的剑、暴君的箴言治理百姓，交出你铁的权杖吧！从你废墟堆成的王位上滚下来吧！我们将像你抛弃督政府一般抛弃你。你看，你的崩溃为法国带来何等的欢乐！你想想人民这时幸福的景象！这就是你唯一的惩罚。
但是，谁来代替他呢？我们可以迎回一位生为皇胄、天性高贵的国王——路易十八——“一位见闻广博、思想开明、大公无私、不念旧恶的君王”。他回到法国，带着赦免所有旧敌的保证，“经历诸多苦难、动乱，我们又在正统君王父亲般的翼护下安宁生活了。这是何等的幸福甜蜜……法国同胞们、朋友们、难友们，让我们忘掉争吵、仇恨、错误，共同来拯救祖国！让我们在祖国的废墟上，紧紧拥抱在一起！让我们请求亨利四世、路易十四的子孙帮助我们！吾王万岁”！后来路易十八曾说这本50页的小书可值10万甲兵，真是一点不假。
现在我们要离开夏多布里昂一会儿了。他的故事绝对还没有结束呢！他还有34年的人生。他将要在复辟时代的政坛上左右风云，他仍然情妇成群，最后在由绮年玉貌成为慈祥和蔼的老妇人——雷卡米耶夫人的怀中结束了人生。写作《墓中回忆录》逐渐成了他主要的工作。既然他的大敌已被囚禁在远方的海岛上，那里四面海水封锁，他可以写写拿破仑的故事了——他共写了456页——不过，随着胜利，随着时间，语气已缓和多了。他活到1848年，亲眼见到了三次法国的革命。
