19.05.1967 г. назначен председателем КГБ СССР вместо отправленного в Киев В. Е. Семичастного. Заместителями к Андропову Л. И. Брежнев приставил двух днепропетровцев генералов С. М. Цвигуна и Г. К. Цинева. Возглавив КГБ, полностью покончил там с остатками влияния А. Н. Шелепина.
С 18 мая 1967 по 26 мая 1982 года Андропов занимал должность председателя Комитета государственной безопасности СССР. Через месяц после назначения, 21 июня 1967 года Андропов был избран кандидатом в члены Политбюро, а шесть лет спустя, 27 апреля 1973 года, стал членом Политбюро. За 15 лет его руководства органы госбезопасности СССР существенно укрепили и расширили свой контроль над всеми сферами жизни государства и общества. Одним из направлений деятельности КГБ была борьба с диссидентским движением и националистическими движениями. При Андропове проводились судебные процессы над правозащитниками, использовались различные способы подавления инакомыслия, практиковались различные формы внесудебного преследования (например, принудительное лечение в психиатрических больницах). Андропов получал специальные указания не отвечать на ходатайства об освобождении диссидентов. Усиление роли КГБ при Андропове были созданы райотделы КГБ со штатом сотрудников, «курировавших» практически все предприятия и организации. Личный состав получил высокие оклады и привилегии, которых не имели сотрудники МВД, военные. Прямую коррупцию и взяточничество среди подчинённых Андропов жёстко пресекал, но, благодаря контролю над всеми сферами жизни и взаимной поддержке, офицеры КГБ, даже невысокого ранга, получили возможность решать любые личные вопросы. Кадровой политикой ведали партийные органы, но сложился порядок, при котором ни одно сколько-нибудь важное назначение не могло состояться без заключения КГБ о кандидате.
На этом посту проявлял большую осторожность, никогда не давал повода для подозрений в превышении своих полномочий, по любому поводу писал бумагу в ЦК КПСС, чтобы заручиться его поддержкой. Имел репутацию кабинетного руководителя с аналитическим уклоном, редко выезжал на места.
Во время конфликта на пограничном острове Даманский (март 1969 г.) не поддержал сторонников нанесения мощного удара по китайской стороне.
Не имел ни одного выходного дня, приезжал на работу и по воскресеньям, не считаясь с состоянием своего здоровья. Всегда смотрел прямо в глаза, не отводил взгляд, не кричал, не матерился, не любил говорить о себе. Имел негромкий голос, заставлявший напряженно прислушиваться к его речи. Очень много читал, интересовался не только сутью, но и деталями многих дел. Обладал чувством юмора. Много знал наизусть из И. Ильфа и Е. Петрова, любил цитировать их. Иногда был не прочь подшутить и сам.
Существует мнение, что, наряду с министром обороны Дмитрием Устиновым, Андропов несёт основную долю ответственности за развязывание афганской войны.
Семейная жизнь Андропова не ладилась. В 1935 году он женился на дочери управляющего Череповецким отделением Госбанка Нине Енгалычевой. В этом браке родилось двое детей – Евгения и Владимир, но отец вскоре ушел из семьи. Во время войны Нина забрасывала партийное начальство Андропова письмами с жалобами на то, что, дескать, отец мало помогает детям: они голодают и ходят без обуви.
Жизнь Владимира Андропова закончилась трагически. Он дважды сидел в тюрьме за кражи, после последнего освобождения уехал в Тирасполь. Там снова нарушал закон, много пил. Старший сын Андропова умер в 1975 году в возрасте 35 лет. Он очень надеялся хотя бы перед смертью увидеть отца, но Юрий Владимирович не приехал ни в больницу, ни на похороны.
