По окончании отпуска 27 января 1858 года Фет вышел в отставку штабс-ротмистром гвардии и поселился в Москве. Его уход с военной службы был связан не только с женитьбой, которая принесла материальное благополучие, но и с невозможностью достижения поставленной им цели. По указу нового императора Александра II право на потомственное дворянство давал с 1856 года только чин полковника, а не майора, как было раньше. Дослужиться же до полковничьих погон Афанасий Афанасьевич не надеялся.
В начале 1860-х годов из-за политических разногласий Фет порвал отношения с журналом «Современник», после чего возник знаменитый антагонизм двух крупнейших поэтов своего времени «Некрасов – Фет».
Выпустив в свет в 1863 году в двух книгах свои «Стихотворения», расходившиеся довольно медленно, Афанасий Афанасьевич почти совсем перестал писать стихи. Тургенев с долей иронии говорил о Фете, что «он теперь сделался агрономом-хозяином до отчаянности, отпустил бороду до чресл, о литературе слышать не хочет и Музу прогнал взашею…»
Еще в 1860 году Фет решил серьезно заняться сельским хозяйством и с этою целью купил в Мценском уезде хутор Степановка с 200 десятинами земли. Здесь он прожил 17 лет, лишь зимою ненадолго наезжая в Москву, и создал прекрасное имение: отделал купленный неоконченным дом и расширил его пристройками, развел цветники, насадил аллеи, выкопал пруды и колодцы, проложил отличную подъездную дорогу, усердно вел хлебопашество, завел мельницу и конный завод. Свой опыт жизни и сельскохозяйственной деятельности в пореформенной деревне Афанасий Афанасьевич изложил в серии очерков, появлявшихся в журналах в 1862–1871 годах.
В Мценском уезде с с 1 ноября 1867 года по 1877 год Фет служил мировым судьею, разбирая мелкие гражданские и уголовные преступления. К этой общественной должности он относился со всей ответственностью и полной самоотдачей и писал о ней: «Свободный выбор уездными гласными наилучших людей в мировые судьи, которым представлялось судить публично по внутреннему убеждению, являлся для искателей должности судьи чем-то священным и возвышающим избираемого в его собственных глазах».
По императорскому указу 26 декабря 1873 года за Афанасием Афанасьевичем, наконец, была утверждена фамилия отца – Шеншин, со всеми связанными с нею правами потомственного дворянина. Но свои литературные произведения он и далее подписывал фамилией Фет.
Помимо замечательного поэтического таланта, Фет обладал незаурядными интеллектуальными качествами. Он был блестящим остроумным рассказчиком, что отмечали его современники, слышавшие его или переписывавшиеся с ним, душевным и разумным товарищем. Иван Тургенев, отвечая на очередное письмо, признавался Фету: «Переписываться с вами для меня потребность, и на меня находит грусть, если я долго не вижу ваш связно-красивый, поэтическо-безалаберный и кидающийся из пятого этажа почерк». Лев Толстой пишет Фету: «Кроме вас у меня никого нет… Вы человек, которого, не говоря о другом, по уму я ценю выше всех моих знакомых, и который в личном общении дает один мне тот другой хлеб, которым, кроме единого, будет сыт человек».
Возвращение Фета к литературе совершилось на склоне лет в его новом имении Воробьевке Щигровского уезда, Курской губернии, в десяти верстах от Коренной пустыни, купленном в 1877 году. С весны 1878 года до своей кончины Фет проводил здесь большую часть года с марта по октябрь, и лишь зимние месяцы уезжал в Москву. Новое хозяйство на 850 десятинах велось управляющим, а сам владелец, кроме писания стихотворений, выходивших отдельными выпусками под заглавием «Вечерние огни» (1883, 1885, 1888 и 1891), усердно принялся за переводы.
