法军仍有一线希望，库图佐夫在距莫斯科西南90英里的卡卢加屯备粮秣。拿破仑欲向此地进军，迫使俄将为保护粮秣出战。如法军获得决定性胜利，俄国贵族或许会迫亚历山大乞和。此外，卡卢加系通往斯摩棱斯克的另一途径，可免于穿越博罗季诺的苦痛，在博罗季诺法军曾损失许多士卒。命令下达后，法军即准备撤出莫斯科。
10月19日，拿破仑军队——5万名士兵和5万名非战斗人员开始列队撤出莫斯科。手拉车装载了20天的粮秣，届时部队可抵达斯摩棱斯克，拿破仑下令当地准备好新鲜的补给品，其他驿车装载病患、部分贵重纪念品及拿破仑日益减少的金币。
法军在距卡卢加以北25英里的马罗雅罗斯拉夫（Maloyaroslavets）与库图佐夫军队相遇，10月24日发生剧烈的战斗后，俄军退出卡卢加的防御。拿破仑知其军队装备无法长期围攻，极不情愿地决定大军经博罗夫斯克和摩萨克退至博罗季诺。他们沿夏天曾走的途径折回，但是现在，库图佐夫像恶魔一般带领军队与法军平行前进，并一直避免被发现，而且不时派遣悍勇的哥萨克骑兵支队袭击法军侧翼。幸灾乐祸的农人则向离开60英里长行军线太远的军士射击。
拿破仑虽受严密的保护，但多次面临险境。在途中，信使带来消息，巴黎政府面临严重分裂的危机，附庸国变乱四起。10月26日，撤离莫斯科后一星期，他征询科兰古是否可以立即返回巴黎，镇压并解决因失败而产生的不满，同时招募一支新军加强普鲁士和奥地利内法军的防御力量。科兰古劝他回去。11月6日，消息传来，法军将领马莱于10月22日推翻法国政府，并赢得当地显贵的支持。10月29日，马莱被免职、被射杀。拿破仑决心回去。
大军撤退时，天气转坏。10月29日大雪纷降，不久即凝结成厚厚的一层，景致优美，令人目眩。入夜天气更冷，大雪凝结成冰，许多马匹滑跌。有些马匹因体力消耗殆尽无法爬起，而不得已被放弃，队伍中饥饿士兵将之杀死食用。大半军官则细心照顾坐骑而得以残存。拿破仑有时与贝尔蒂埃将军乘御座，但一天总有两三次或较多次依照梅纳瓦尔的劝告与士兵一起步行。
11月13日，军队进入斯摩棱斯克时，仅存5万人。他们发现拿破仑为其预定的衣食因哥萨克袭击及自己人盗用而损失大半，同时有上千头指名给军队的公牛被卖给商人，商人再转手时，战士们非常生气。他们为剩余物资而争斗，并以武力强取市场上可以攫取的货品。
拿破仑希望让兵士在斯摩棱斯克获得长期的休息，但消息传来，库图佐夫率8万不愿撤退的俄国兵士逼近。拿破仑仅能召集2.5万名士兵与之交战。11月14日，拿破仑率领部分军队撤向克拉斯诺耶（Krasnoe）。其选择至维尔纳的路线与夏天不同，15日达武随之撤出。奈伊于16日跟进。这条道路峻峭，并覆盖冰雪。马匹在俄国冬天不善于行，时常滑落山崖，经数次拯救不成，上百位士兵放弃努力，认为死亡是生命的一种慈悲，许多人默然接受。一位老兵回忆：“在整个途中，我们被迫跨过尸体或快死的人。”因为怕滑落山崖，无人肯乘骑，连拿破仑都步行，没骑马，一如他们之中少部分的人在12年前越过阿尔卑斯山赴马伦戈时一样。对于上年纪的拿破仑和老兵而言，这几天似如几年之久。从这里可以看出，拿破仑很可能曾要求随侍医生给他一颗致命毒药随身携带，以便万一他被捕或其他理由想死时服用。
11月15日，他们抵达克拉斯诺耶，但无法休息，因为库图佐夫率兵全力逼近。拿破仑吩咐军士朝奥尔沙进军。欧仁领头，击退零星部队，拿破仑和达武随进。经过三天的冰上行军，他们到达奥尔沙，并焦急地等候着奈伊带领的第三支法国军队。
此时，奈伊就像在博罗季诺时一样为军队的救星。奈伊为后卫队司令，领有7000名士兵，护卫军队在退却时免受库图佐夫的包抄袭击。经过十余次战役，11月15日奈伊率其部众进入斯摩棱斯克，发现当地只有达武死去的部卒遗留下的微薄粮食时，感到震惊。为了求生，他们即刻赶往克拉斯诺耶，拿破仑又背信不在当地。库图佐夫以猛烈的炮火封锁他们的去路。11月18日至19日，奈伊在黑夜掩蔽之下领军沿着冻结成冰的小溪越过聂伯河，途中损失部分人马，一路与哥萨克人奋战，并渡过冰冻沼泽地，11月20日抵达奥尔沙。拿破仑及其侍卫部队以食物和赞扬欢迎这位饥饿的英雄，拿破仑拥抱奈伊，称他为“勇者中的勇者”，稍后并说：“我在土伊勒里宫地窖贮有价值4亿法郎的黄金，我宁愿以它换取再见一次奈伊元帅。”
法军摆脱库图佐夫缓慢的大军后，经过四天匆忙的行军，在别烈津河再度面临困境。法军于11月25日抵达此地时，发现齐加哥夫将军已带领2.4万名兵士北上，而维特根施泰因率领3.4万精兵急急南下，只剩下两面受敌、秩序混乱、被领袖放弃援救的法军。
并非全是坏消息。拿破仑不久获悉两支援军来到。由东布罗夫斯基将军率领的一支波兰军队，以三对一的优势抵抗齐加哥夫，并阻延俄军的前进。11月23日，由乌迪诺元帅率领的一支8000人的队伍，在齐加哥夫意料之外的情形下，虏获一支军队，而且率领残余部众准备抢占鲍里索夫河右侧或南流的别烈津河西岸的渡桥。但俄国已摧毁这处唯一的渡河桥梁。
消息传来时，疲惫不堪的拿破仑正率领2.5万名士兵和2.4万名非战斗部队靠近河边，希望在此能阻止库图佐夫的进一步追击。库图佐夫的部队由于逃亡、疾病、死亡，也有损失，在卡卢加出发时带领的9.7万名兵士如今仅剩下2.7万名，现在他们离拿破仑的后翼还有40英里。因此假如拿破仑能够渡河的话，还有时间渡过。
拿破仑希望复现，派维克托元帅率领一支部队向北阻止维特根施泰因，又派奈伊率领另一支部队与乌迪诺会合，阻止齐加哥夫再渡河。拿破仑一直保留当年横渡涅门河时搭桥的工程人员为其幕僚，如今他要求这些人员在别烈津河寻觅可搭设两座浮桥的地点。他们在鲍里索夫以北9英里处的斯图汀基（Studenki）找到，并与助手们在冰冻的水里工作两天，浮冰冲击他们，有些人淹死。至26日下午1时，一座桥搭好，军队开始通过；2时另一座桥搭好，武器及其他重装备陆续通过。拿破仑和将领候至大半兵士抵达西岸后方渡河，维克托留下率领一支军队保护约8000名正在撤退的非战斗人员。在最后一次撤退行动尚未完成时，俄军加强攻击两岸，但被维克托、乌迪诺和奈伊击退。拿破仑尽力在数千名求生者的混乱中指挥过河、抵抗。一座桥坏了两次，数百人淹死，同时维特根施泰因向最后渡河的数千人射出密如骤雨的炮弹。拿破仑为阻延维特根施泰因的兵力和库图佐夫的追击，于11月29日下令工兵破坏这两座桥，遗下数百名企求渡河的非战斗部队人员。总之，横渡别烈津河的撤退行动是历史上最伟大的战事之一，是6个月中最富幻想及判断错误的战事中最英雄的一段插曲。
残余部队继续向西挺进时，不幸的事件接二连三地发生，气温再度降至零下，但也有一点好处——他们得以在冰上行军，缩短了到维尔纳的路途。对哥萨克及怀有敌意农民的恐惧感减退时，脱队人数增加，军纪瓦解。
拿破仑发现如今他已丧失往日的荣耀，便听从缪拉劝告返回巴黎，以免法国再度陷入革命。在摩罗德齐诺（Molodechno）获悉有关马莱事件的细节时，篡位虽已平除，但拿破仑利用幕僚手法使这个松散政府长久对拿破仑缺乏信心，甚至认为他已被摧毁或死亡，雅各宾派与保王党、富歇与塔列朗皆阴谋废除拿破仑。
拿破仑为恢复法国人的信心及显示其地位，于12月5日从斯摩哥尼（Smorgonie）颁发柏林29号敕令。此与往昔不同，它几乎说明整个真相。文中说，法国每役皆胜，占据沿途各城，也曾攻下莫斯科，然而无情的俄国冬季摧毁大半计划，造成只适合文明气候开化的法国人的痛苦和死亡。这份公报承认法军损失5万人，但又自负地提到奈伊避免库图佐夫及横渡别烈津河的英雄事迹，而不提悲惨的一面。公报似乎在警告敌人，说：“殿下健康状况极佳。”
然而拿破仑也有其忧虑的一面，他告诉科兰古：“我只能从土伊勒里掌握欧洲。”缪拉、欧仁和达武同意他的看法。他将军队大权移交缪拉，并嘱其在维尔纳准备粮秣和兵力。12月5日夜晚，拿破仑离开斯摩哥尼，返回巴黎。
次日向46英里外的维尔纳出发时，部队余下3.5万名兵士。据一位劫后余生者说，当时气温降至零下30℃，寒风刺骨。12月8日，抵达维尔纳，饥饿的士兵们混乱一团地拥向供应所，践踏许多食物。12月13日，部队渡过科夫诺时只剩余3万人，6月渡过尼姆及泰尔西特时，有4万人。在波森（Posen）的缪拉担心王位不保，于1813年1月16日将统帅权移交欧仁，本人迅速返回那不勒斯。彼时欧仁年30岁，年轻有经验，耐心地领导残余部众至易北河边，等候养父前来指挥。
拿破仑离开斯摩哥尼时，乘坐三辆马车中的第一辆，每辆车皆配有雪橇，由两匹马拖拉，第二辆载着拿破仑的朋友和助手，第三辆由波兰骑兵组成的护卫队乘坐。拿破仑与负责更换马匹的科兰古和译员温绍维茨共乘一辆。拿破仑本人佩带两支手枪，并告诉他们说：“在紧急情况时，宁愿杀我不要让我被俘。”拿破仑怕被俘或被暗杀，便乔装自己，与科兰古更换衣服。科兰古回忆说，在通过波兰的路上，“我一直是伟大的远征者，而皇帝只是我的秘书”。
拿破仑一行夜以继日地奔向巴黎，在华沙逗留最久，拿破仑以名言“由崇高至卑贱仅一步之差”告诉法国代表普拉特，使普拉特感到惊异。他希望再访瓦莱夫斯卡伯爵夫人，但科兰古劝阻，可能提醒他，他的岳父也是国王。科兰古说：“从华沙到德累斯顿，拿破仑不停地赞扬露易斯皇后，并以真情、朴实的语调诉说其家庭生活，令人愿意听。”
在德累斯顿，拿破仑和科兰古卸下雪橇，解散波兰卫士，并改乘一辆法国大使馆提供的四周封闭的车子。经过13天马不停蹄的奔驰，于12月18日抵巴黎。拿破仑直赴土伊勒里宫，让宫中侍卫送消息通知露易斯，午夜前他“奔向皇后卧榻，双臂拥抱着她”。他差人送信给约瑟芬报平安。他见到被封为“罗马王”的婴儿时，心中感到慰藉。
