После этого Каспар поселился у барона Готлиба фон Тухера. Там он встретил Филиппа-Генри, графа Стенхоупа и племянника Уильяма Питта-младшего. У этого лорда была далеко не блестящая репутация. 31 мая 1831 года он появился в Нюрнберге, собираясь «усыновить Каспара и забрать его с собой в свой замок в Кенте». Тухер ему поверил. Стенхоуп вскружил Каспару голову рассказами о «высоком положении», которое у него отобрали, но справедливость должна быть обязательно восстановлена. Каспар легко поддался на лесть, и их стали постоянно видеть вместе держащими друг друга за руки, причём лорд прилюдно обнимал и целовал мальчика, возбудив тем самым в городе сплетни о «неестественном характере» их отношений. Фон Тухер и Даумер были возмущены поведением лорда, но тот принялся хлопотать перед городским советом о передаче Каспара под его опеку. Получив ответ, что опекуну следует доказать свою платёжеспособность, он уехал в Мюнхен, затем в Инсбрук и вернулся с векселями на очень крупные суммы, выданными почему-то германскими торговыми домами. В это время Каролина, графиня Альберсдорфская, заявила, что Стенхоуп служит орудием кого-то, кто хочет оторвать Каспара от его друзей, чтобы убить мальчика.
В июле 1831 года фон Тухер вместе с Каспаром и полицейским офицером по имени Хикель предприняли поездку в Венгрию, но найдёныш не узнал ничего и не понимал местных наречий. В октябре того же года один венгерский аристократ с сыном посетил Каспара. Тот якобы вспомнил, что в детстве отзывался на имя Иштван и некоторые венгерские слова показались ему знакомыми.
В ноябре 1831 года лорд Стенхоуп отправился в Ансбах, в гости к фон Фейербаху, передав Каспару золотые часы, кольцо и цепочку, а также 500 гульденов наличными. Фон Тухер разрешил Каспару оставить у себя подарки, но деньги забрал, мотивируя это тем, что найдёныш был слишком молод, чтобы распоряжаться столь крупной суммой. Из-за этих денег Каспар впервые рассорился со своим опекуном, требуя, чтобы с ним перестали обращаться как с младенцем. Фон Тухер, понимая, что найдёнышу вскружила голову лесть, написал Стенхоупу отчаянное письмо, умоляя оставить Каспара в покое, но безрезультатно.
21 ноября 1831 года лорд Стенхоуп официально потребовал передачи ему опекунства над Каспаром, обещая дать тому достойное образование и воспитание. Попытки фон Тухера и фон Фейербаха собрать деньги по подписке в фонд Каспара Хаузера и, таким образом, обеспечить его будущее успеха не имели. Каспар 24 ноября поддержал просьбу лорда, и она была удовлетворена. 10 декабря лорд перевёз Каспара в Ансбах и поселил в доме школьного учителя Иоганна Георга Мейера, изводившего Каспара мелкими придирками. Для охраны Каспара в Ансбахе был назначен отставной солдат, который должен был раз в день посещать дом, чтобы убедиться, что с найдёнышем всё в порядке, и сопровождать его во время прогулок. Стенхоуп уехал 28 января 1832 года и прислал Каспару несколько сентиментальных писем, но больше не вернулся в Ансбах.
Тем временем распространились слухи, что Каспар на самом деле является наследным принцем Бадена (официально – умершим в колыбели в 1812 году). В марте 1832 года фон Фейербах поехал в Мюнхен, где беседовал с королевой Баварии Каролиной, и начал своё расследование. Он передал офицеру полиции Эберхардту портрет Каспара и прядь его волос, чтобы определить, не был ли Каспар ребёнком, родившимся у священника Гутенбера и девицы Кинингшайм. Но эта версия не подтвердилась.
