За два года существования учреждённого ею «Собеседника», самой Е. Дашковой были опубликованы десять статей. Опубликование в «Собеседнике» книги Княжнина «Вадим Новгородский» вызвало резкое раздражение Екатерины II, боявшейся за свой трон. Кроме того, гнев императрицы Екатерины вызывала дружба Екатерины Романовны с Бенджамином Франклиным – как с одним из руководителей освободительной войны американских колоний против английского короля, которая нашла большую поддержку и сочувствие всех передовых людей Европы и России.
В связи с этим в 1794 году Е. Р. Дашкова попрощалась с Академиями и уехала в свое Троицкое, где с болью встретила в 1796 году известие о смерти Екатерины. Она вспомнила их дружбу и свою горячую молодость, вдохновение, одержимость и горькое разочарование в Екатерине, которая сразу после коронования на престол постаралась указать молодой увлечённой Е. Дашковой, кто здесь хозяин.
Тайный брак сына Павла с дочерью купца Алферова тяжело сказался на здоровье Екатерины Романовны: «Рана, нанесенная материнскому сердцу неизлечима. Несколько дней я могла только плакать, затем серьезно заболела» – писала Екатерина Романовна в своих «Записках». Дочь Анастасия также причиняла ей немало горя. Дочь рассталась с мужем и пустилась в загул, требуя от матери оплачивать её долги. Дашкова Е. Р. ушла в депрессию и ей иногда приходила мысль о смерти, но только вера в Бога и молитвы спасали её.
Сразу же после смерти императрицы по распоряжению нового императора Павла Е. Дашкова была выслана в дальнюю бедную деревеньку своего мужа в Новгородской губернии. Губернатор Москвы передал ей приказ Павла: «…подумать в ссылке над тем, что она совершила в 1762 году». Не сопротивляясь, полубольная Дашкова в 1796 году по приказу императора Павла отправилась в зимние морозы в ссылку коротать дни в крестьянской избе, лишенной удобств. Через некоторое время она обратилась к императрице Марии Федоровне с просьбой пощадить больную несчастную женщину. Императрица, пожалев её, обратилась к Павлу I. Опала Е. Р. Дашковой продолжалась до 1801 года. Придя к власти, Александр I предложил Екатерине Романовне вернуться в Петербург, но она, поблагодарив императора, отказалась, сказав, что: «время её ушло, да и здоровье не позволяет».
У себя, в Калужской губернии, она целиком посвятила себя хозяйственной деятельности. Детей у сына не было и Дашкова нашла наследника из семьи Воронцовых – Ивана Илларионовича, внучатого племянника, которого опекала с самого рождения. Благодаря матери и влиянию знаменитой тетки Е. Р. Дашковой он получил блестящее европейское образование, а личные качества крестника навсегда покорили её. Екатерина Романовна Дашкова в 1807году, с разрешения императора Александра I, назначила себе наследника, завещала крестнику Ивану Илларионовичу Воронцову все владения и фамилию Воронцов-Дашков. Так появилась новая династия графов Воронцовых-Дашковых, которые преданно служили Отечеству и продолжили традиции знаменитой Екатерины Романовны Дашковой, занимаясь просвещением. Бездетная дочь Анастасия еще при жизни матери была лишена наследства, и ей назначена только пожизненная ежегодная пенсия, которую она получала от наследника.
Последние годы Е. Дашкова доживала в имении Троицком в окружении своих помощниц и крестьян. По совету подруги Кет Гамильтон к Екатерине Романовне приехала погостить Мэри Уильмот и прожила в России целых пять лет. Приехав в усадьбу княгини, она увидела женщину с приятным лицом, открытым и умным, одетую в черное платье и с серебряной Звездой на левом плече. Она была ласкова и Мэри сразу почувствовала к ней самую горячую любовь. Мэри была последней привязанностью этой замечательной и одинокой женщины, она заполнила пустоту её жизни.
