Подобное положение, видимо, не устраивало Давтяна. Через месяц официальной работы в качестве исполняющего обязанности руководителя внешней разведки он подает рапорт с просьбой перевести его на дипломатическую работу за рубежом и возвращается в НКИД.
Преемником Давтяна на посту начальника ИНО ВЧК 20 января 1921 года стал Рубен Павлович Катанян, являвшийся до этого заведующим агитационно-пропагандистским отделом ЦК РКП(б). Однако на посту начальника внешней разведки он проработал недолго и уже 10 апреля по собственному желанию перешел на прокурорскую работу.
10 апреля 1921 года Иностранный отдел ВЧК вновь возглавил, но теперь уже в должности официального начальника, Яков Давтян (Давыдов). Но и на этот раз он недолго руководил внешней разведкой. Уже в августе 1921 года Давтян переводится на дипломатическую работу и назначается полпредом РСФСР в Литве. Пробыв в Ковно до сентября того же года, он становится временным поверенным в делах РСФСР в Китае в ранге советника. При этом Давтян, как было оговорено ранее, одновременно утверждается главным резидентом ИНО ВЧК в Китае, где в ту пору работало около десятка разведывательных коллективов.
Яков Христофорович энергично взялся за дело. Через полгода он докладывает в Центр: «Работа здесь весьма интересная, захватывающая, но очень трудная, чрезвычайно ответственная. Отдаленность от Москвы, плохая связь, взаимное непонимание еще больше осложняют нашу работу… Я никогда (даже в ИНО) так много не работал, как здесь».
Давтяну действительно удалось активизировать работу разведки в этой стране, особенно по белой эмиграции. В частности, мукденская резидентура через свою агентуру в японских спецслужбах добыла уникальный архив белогвардейской контрразведки, касающийся всего Дальнего Востока. Исключительно высоких результатов добилась резидентура ИНО ОГПУ в Харбине. Ее сотрудниками было получено свыше двадцати японских шифров.
В годы Великой Отечественной войны из Китая в Центр поступала весьма важная политическая информация по Японии. А основы этой блестящей работы советской внешней разведки в данном регионе были заложены в ту пору, когда главным резидентом Иностранного отдела в Китае был Яков Давтян.
В начале 1925 года Давтян возвращается в Москву и в мае назначается советником полпредства СССР во Франции, которое в то время возглавлял известный революционер и активный сторонник Троцкого Христиан Раковский. В Париже Давтян принимает участие в работе различных международных конференций, неоднократно замещает полпреда, которому в Москве не очень доверяли из-за его близости к Троцкому, и по-прежнему оказывает помощь резидентуре ИНО ОГПУ.
Осенью 1927 года Давтян занимает пост полномочного представителя СССР в Персии (Иране). В 1932 году он становится полпредом СССР в Греции, а в апреле 1934 года – полпредом СССР в Польше. На VII съезде Советов СССР в 1935 году избирается членом ЦИКа СССР.
Однако близкое знакомство в период работы во Франции с одним из видных троцкистов Раковским не прошло для Давтяна даром.
21 ноября 1937 года Яков Христофорович был арестован в Москве по обвинению в принадлежности к «антисоветской террористической организации». Вскоре он был осужден Военной коллегией Верховного суда СССР к высшей мере наказания и 28 июля 1938 года расстрелян.
25 апреля 1957 года Я. Х. Давтян был полностью реабилитирован Военной коллегией Верховного суда СССР в связи с отсутствием состава преступления.
