17 (29) октября во время рекогносцировки у Гжатска Понятовский был тяжело контужен в результате падения с лошади, и с 20 октября (1 ноября) корпусом фактически командовал генерал Ю. Зайончек, который успешно действовал в боях при Вязьме. Французская армия вынужденно отступала по уже разграбленной старой Смоленской дороге. Во время отступления Понятовский голодал и мёрз вместе со своими солдатами. Вспоминали, как он радовался, когда ему дали две печёные картошки. И если поляки и немцы просто мучались от морозов, то воинские части, состоявшие из итальянцев и испанцев, просто мучительно умирали. Их к концу похода физически не стало существовать. Наполеон рассчитывал, что в Смоленске, где находились склады с провизий и запасами, его армия перезимует. Однако город был настолько переполнен ранеными и заразными больными, а склады разграблены, что Наполеон был вынужден продолжить отступление. В Смоленске по приказу Наполеона 5-й корпус передал половину своей артиллерии 4-му корпусу Э. Богарне. 6 (18) ноября в Орше 5-й корпус имел в строю всего 1200 человек при 30 орудиях.
Долгий и мучительный путь бывшей Великой армии и входивших в неё польских корпусов Понятовского во время отступления погубил её практически полностью. Фактически существенной военной помощи император не дождался и от литовских полков. Литовский 3-й гвардейский легкоконный полк генерала Конопки 19 октября в бою под Слонимом был разбит генералом Чаплицем. Татарский эскадрон Ахматовича также сражался под началом Конопки. В плен попали сам генерал Конопка, 13 офицеров и 253 нижних чина. Отряд генерала Косецкого (3.500 человек), направленный из Минска к Новосверженю, 13 ноября был разбит русскими егерями. На следующий день остатки его были разгромлены у Койданова; в плен попали 2.000 человек. Остальные вернулись в Минск. 17-я пехотная дивизия 5-го корпуса в бою 9 (21) ноября не смогла удержать Борисов, в результате чего Великая армия попала в тяжёлое положение. В середине ноября подчинённые Наполеону войска Великого княжества насчитывали во всех подразделениях более 20.000 человек. Уставным языком команд и общения в них был польский.
Польская и литвинская шляхтичи, связывавшие надежду на восстановление отчизны с Францией и с успехами Наполеона, пережили трагическое разочарование; очистилось поле для тех, кто основывал те же надежды на Россию и на её императора Александра. Главой этой партии по-прежнему оставался князь Адам Чарторыйский, бывший царский министр. Как только военное счастье изменило Наполеону, князь попытался восстановить с Александром I переговоры, начатые в декабре 1806 года и продолжавшиеся при каждом обострении политического положения в Европе – в 1809 и в 1811 годах. 6 декабря 1812 года Чарторыйский писал царю: «Если Вы вступите в Польшу победителем, то вернётесь ли Вы к Вашим старым планам относительно этой страны? Покоряя страну, захотите ли Вы покорить сердца?».
В начале декабря Наполеон потребовал от Комиссии временного правительства Великого княжества Литовского объявить посполитое рушение и выставить на войну 30 тысяч шляхты. Но 30-тысячное ополчение было явно нереальным, и решили в первую очередь собрать 15 тысяч добровольцев. Но набрались в посполитое рушение всего лишь 500 человек.
18-й и 19-й литовские уланские полки прикрывали переправу императора через реку Березину. В боях на Березине 14—16 (26—28) ноября части корпуса Понятовского составляли около трети боеспособных сил Великой армии. Во время переправы по перегруженному мосту французская армия потерпела ужасающую катастрофу. Спасти её было невозможно. Остатки некогда Великой армии после катастрофы спешно отступали к городу Вильно.
