В молодости Алексей Толстой отличался замечательной силой, которую отмечают все современники. В детстве он сажал цесаревича себе на плечи и бегал так по коридорам Зимнего дворца. Став взрослым, он поднимал одной рукой человека, ломал палки о мускулы руки, скручивал винтом кочергу и серебряные вилки. Толстой играл своим здоровьем, но (видимо, в качестве осложнения после тифа) со второй половины 1850-х гг. у него стала развиваться астма и какие-то другие болезни. Болезням этим он, как очень часто поступают изначально здоровые люди, не придавал большого значения. Он пытался лечить их, но то ли занимался этим несистематично, то ли лечение велось неправильно, и он не получал не только избавления от болезни, но даже хотя бы облегчения болезненных симптомов. Под конец Толстой стал заглушать болезненные припадки приемом наркотических средств, что в его время считалось достаточно безобидным занятием.
Находясь в своем любимом селе Красный Рог, 28 сентября 1875 г. Толстой во время очередного приступа головной боли по привычке ввел себе дозу морфия, который принимал по предписанию врача. Но не рассчитал: доза оказалась слишком большой, и это стало причиной его смерти. Здесь, в Красном Роге (ныне Почепский район Брянской области), где Толстой провел свои детские годы, куда он неоднократно возвращался в зрелом возрасте, его и похоронили. Здесь в 1967 г. началось (практически с нуля) восстановление музея-усадьбы Алексея Толстого.
Толстой страстно любил творчество, понимая его как воплощение свободы человеческого духа. Человек-творец волен и прекрасен в своих проявлениях, повторяя своими действиями Бога-Творца. Но именно поэтому Толстой и отказался от службы, и именно поэтому он на самом деле высмеивал опрометчивые шаги то одной, то другой партии, шаги, направленные на подавление и уничтожение противника. И именно поэтому в 1865 г. он ходатайствовал перед Александром II о смягчении наказания Н.Г. Чернышевскому, нисколько не сочувствуя ни его литературной деятельности, ни его личности. В результате это ходатайство привело к обострению его личных отношений с императором. А вот что Толстой писал своему конфиденту писателю Б.М. Маркевичу в 1868 г., с которым он, впрочем, расходился по многим вопросам литературы и общественной жизни по поводу запрещения к постановке трагедии «Царь Федор Иоаннович», ведущую роль в котором сыграл министр внутренних дел A.Е. Тимашев:
«В произведении литературы я презираю всякую тенденцию, презираю ее как пустую гильзу, тысяча чертей! как раззяву у подножья фок-мачты, три тысячи проклятий! Я это говорил и повторял, возглашал и провозглашал! Не моя вина, если из того, что я писал ради любви к искусству, явствует, что деспотизм никуда не годится. Тем хуже для деспотизма! Это всегда будет явствовать из всякого художественного творения, даже из симфонии Бетховена. Я терпеть не могу деспотизм, так же как терпеть не могу <имя вырезано из письма>, Сен-Жюста, Робеспьера и <имя вырезано из письма>. Я этого не скрываю, я это проповедую вслух, да, господин Вельо <И.О., директор почтового департамента>, я это проповедую, не прогневайтесь, господин Тимашев <А.Е., министр внутренних дел>, я готов кричать об этом с крыш, но я – слишком художник, чтобы начинять этим художественное творение, и я – слишком монархист, да, господин Милютин <Н.А., статс-секретарь по делам Царства Польского>
