Яков окончил четыре класса гимназии, затем учился аптекарскому делу. Уже в юности был известным подпольщиком в Нижнем Новгороде.
С 1901 года в рядах РСДРП, после раскола на II съезде РСДРП в 1903 году стал большевиком и профессиональным революционером. С сентября 1905 года направлен на Урал в качестве представителя-агента ЦК. В 1905 году организовывал революционные выступления масс в Екатеринбурге. В октябре 1905 года создал и возглавил Екатеринбургский Совет рабочих депутатов. С 1906 года Свердлов в Перми, где находился крупнейший на Урале Мотовилихинский пушечный завод. Неоднократно арестовывался и приговаривался к содержанию в тюрьме и ссылке, в тюрьмах занимался самообразованием.
С 10 июня 1906 по сентябрь 1909 года Свердлов сидел в тюрьмах Урала. 19 декабря 1909 года его снова арестовали в Москве. 31 марта 1910 года он был выслан в Нарымский край на три года. В 1910 году бежал из Нарымской ссылки в Петербург, и был редактором газеты «Правда». Вступил в активную переписку с Лениным, и был кооптирован в Русское бюро ЦК РСДРП.
5 мая 1911 года Свердлов был приговорен к ссылке в Нарымский край Томской губернии на 4 года. В 1912 года в Нарыме Яков Михайлович познакомился со Сталиным, который бежал из ссылки в августе. Свердлову тоже удалось бежать из Нарыма в декабре. В феврале 1913 года был вместе со Сталиным выдан агентом охранки и сослан в Туруханск. Ссылку на севере Енисейской губернии (посёлок Ку-рейка) они некоторое время отбывали в одном доме. Потом они стали жить на разных квартирах и встречались редко. 1 октября 1913 года на заседании ЦК РСДРП обсуждался вопрос об организации побега из ссылки Свердлова и Сталина, но он не был осуществлен.
В марте 1917 года Свердлов возвращается из ссылки. После Февральской революции он был направлен ЦК в Екатеринбург организовать работу Уральской областной партийной конференции, чтобы подготовить пролетарское восстание на Урале – на случай, если не получится в Петрограде.
На 7 (Апрельской) конференции РСДРП (24 апреля 1917 года) Свердлов впервые лично встретился с Лениным и начал выполнять для него различные текущие дела и поручения. Под влиянием Ленина Свердлов был избран членом ЦК и возглавил организованный тогда Секретариат ЦК РСДРП, реализующий решения партийных вождей. Во время массовых выступлений 3–4 июля Свердлов был главным оратором от ЦК большевиков и получил от политических противников прозвище «чёрный дьявол большевиков» (по цвету его кожаной тужурки, с которой он не расставался, потом это стало большевистской модой). Когда большевики были объявлены контрреволюционерами и немецкими шпионами, Свердлов лично пришёл к Ленину и увел его в подполье, спрятав возле станции Разлив под Сестрорецком, а сам остался в Петрограде организовывать захват власти большевиками. В дальнейшем он осуществлял связь ЦК с Лениным, всячески препятствовал его необдуманным попыткам вернуться к легальной деятельности и снабжал его общей информацией о ходе дел в Петрограде.
Пока Ленин писал в шалаше под Разливом книгу «Государство и революция», определившую принципы устройства пролетарского государства, Свердлов развил бурную деятельность по реализации его идей. Подготовив и проведя VI съезд РСДРП, он укрепил свои позиции члена ЦК РСДРП и руководителя Секретариата ЦК РСДРП. На историческом заседании ЦК 10 октября 1917 года, принявшем решение о вооружённом захвате власти, Свердлов был председателем и был назначен членом Военно-революционного центра, созданного для руководства восстанием.
