В мае 1917 года с третьего курса университета Сергей был призван на военную службу в царскую армию. Окончив школу прапорщиков в Петрограде, он служил в чине прапорщика в 42-м запасном полку. После Октябрьской революции 1917 года Шпигельглаз работал в московском военном комиссариате.
В 1919 году Шпигельглаз был направлен на работу в комиссию Кедрова, фактически выполнявшую задачи военной контрразведки. После последовавшей вскоре реорганизации, комиссия была включена в состав Особого отдела ВЧК. Шпигельглаз с головой окунулся в нелегкий и рискованный труд чекистов. По заданию Кедрова он неоднократно выезжал с оперативными группами в различные города и районы Юга, Запада и Центра России, где зрели контрреволюционные заговоры и мятежи, готовились к выступлению против советской власти силы враждебного подполья. Шпигельглаз активно участвовал в оперативных разработках лиц, подозреваемых в принадлежности к контрреволюции.
В 1922 году он назначается на должность уполномоченного в Иностранный отдел ОГПУ и вскоре направляется по линии внешней разведки в спецкомандировку в Монголию.
Шпигельглаз проработал в Монголии до 1926 года, проводя с ее территории активную агентурную работу по Китаю и Японии. Его деятельность в Монголии была высоко оценена Центром. По возвращении в Москву Шпигельглаз был назначен помощником начальника внешней разведки. При этом учитывалось его свободное владение несколькими иностранными языками. Проработав в этой должности десять лет, в сентябре 1936 года он был выдвинут на пост заместителя начальника внешней разведки.
За период работы на руководящих должностях во внешней разведке Шпигельглаз неоднократно выполнял ответственные спецзадания за рубежом: в Китае, Германии и во Франции. В частности, являясь нелегальным резидентом в Париже, он руководил похищением председателя Русского общевоинского союза (РОВС) генерала Миллера. Вопрос о проведении острой операции по Миллеру встал после получения руководством советской внешней разведки данных о том, что он через своего представителя в Берлине генерала Лампе установил тесные контакты с фашистским режимом в Германии. Миллер был доставлен во внутреннюю тюрьму НКВД на Лубянке, где содержался как заключенный № 110 под именем Иванова Петра Васильевича. 11 мая 1939 года нарком внутренних дел Берия подписал распоряжение о расстреле экс-председателя РОВС, осужденного Военной коллегией Верховного суда СССР к высшей мере наказания.
Операция советской разведки, связанная с похищением Миллера, способствовала полному развалу РОВС. И хотя окончательно РОВС как организация прекратил свое существование с началом Второй мировой войны, советская разведка, дезорганизовав и разложив его, лишила гитлеровскую Германию и ее союзников возможности активно использовать в войне против СССР около двадцати тысяч членов этой организации.
Активно работал Шпигельглаз и против других белогвардейских организаций, главной целью которых было свержение советской власти в России. Среди последних следует, в частности, отметить Народно-трудовой союз (НТС), Организацию украинских националистов (ОУН), объединение грузинских меньшевиков во главе с Ноем Жорданией.
Под непосредственным руководством Шпигельглаза советская разведка добыла совершенно секретные материалы германского генерального штаба, касающиеся военной доктрины Германии в отношении СССР.
