Имя Левитова стало приобретать известность в литературной среде. Он приободрился, окреп, стал одеваться по моде. Изменения наступили и в его личной жизни – он встретил женщину, с которой не расставался до конца своих дней. Это была простая крестьянская девушка-сирота, приехавшая в город на заработки и трудившаяся в швейной мастерской. Робкая и неустроенная, она любила Александра Ивановича, но не стала ему опорой и не отвратила его от дурных привычек трудной молодости.
Вечному скитальцу Левитову не удалось надолго удержаться в редакции. Вскоре он вновь попал в тиски бедности, безысходной тоски и убогого прозябания в трущобах. Об этом времени он так писал в 1863 г. во вступлении к очерку «Московские комнаты снебилью»: «Лучшие дни молодых годов моих безвозвратно прожиты в этих тайных вертепах, где приючается, как может, пугливая бедность». В пореформенные годы многие московские журналы были закрыты по цензурным соображениям, и, живя в Москве, Левитов постоянно наведывался в Петербург в поисках литературного заработка. А в 1863 г. он решил туда переехать.
Жизнь в Северной столице значительно расширила круг знакомых Левитова: у него появились контакты с издателями и деятелями русской культуры. Однако он остался в стороне от полной идейной борьбы литературной жизни Петербурга, а нездоровье заставило Левитова вновь вернуться в Москву, где он решил попробовать себя как редактор нового общественно-политического альманаха «Звезда». Сотрудничать в журнале согласились известные писатели В. А. Слепцов, Г. И. Успенский, Марко Вовчок, но правительство запретило альманах, и Левитов потерпел страшные убытки.
Чтобы как-то свести концы с концами, он уехал в Ряжск, где устроился преподавателем русского языка. Но и педагогическая карьера у него не сложилась. Ему было душно и тоскливо в атмосфере захудалого городка, где свободное творчество вызывало недоумение и подозрительность начальства. В 1866 г. он вновь вернулся в Москву, и с этого времени стал вести жизнь вечного странника, постоянно меняя места службы, переживая месяцы творческой беспомощности и беспробудного «запивойства».
Особенно мучительны были последние пять лет жизни Левитова. Его заработок был ничтожен, а здоровье окончательно надломлено. Литературная репутация писателя оказалась подорванной получением многочисленных авансов в редакциях, в уплату которых Левитов давал лишь наброски или отрывки из так и не завершенных произведений. Он угасал, терзаясь мыслью, что начатый им роман «Сны и факты» так никогда и не будет закончен, и, говоря о своем «ненаписанном» творении, плакал.
На последней стадии чахотки Левитов жил в сырой, нетопленой «клетушке», совершенно лишенной каких-то удобств. Чтобы добыть из какой-то мелкой редакции денег, он в декабрьскую стужу вышел из дому в летнем пальто и жестоко простудился.
4 января 1877 г. Левитов умер в Московской университетской клинике и был похоронен на Ваганьковском кладбище на средства, собранные «по подписке» среди его знакомых.
Смерть несчастного «пловца жизненной пучины», так и не создавшего крупных авторских работ, казалось бы, должна вызвать полное забвение его произведений. Однако этого не произошло: в 1884 г. были опубликованы многие из его рассказов, в 1905 г. – издано Полное собрание сочинений, а в 1911 г. литературное наследство писателя вновь было переиздано
