Станислав стал мужем Жозефины-Амалии Мнишек, представительницы древнего аристократического рода. Жили в Тульчине. За 23 года супружества она родила 11 детей: 7 дочерей и 4 сына, но не все от Потоцкого. Станислав в политике разбирался слабо, подпадал под чужое влияние. Оказался на стороне вражеской оппозиции, был отвергнут друзьями и покончил с политической деятельностью. В Яссах он познакомился и увлекся Софьей. Красавица пустила в ход все свои чары. Жозефина все узнала, но не придала этому особого значения. Но вот появляется в Петербурге муж и просит развод, на что она не соглашается. Софье тоже не удалось расторгнуть свой брак. Влюбленные уезжают в Гамбург. Здесь их тоже встретило общественное презрение. Появилась нужда и в материальных средствах, так как Жозефина прекратила высылать деньги. По величайшему разрешению царицы, “семья” возвращается на родину. Но де Витт не расторгает брак, как и Жозефина. Положение нелегкое, имеется двое детей от Потоцкого (Константин, Николай). Софья пишет письма, в которых заверяет в своей любви и верности, ловко играя на чувствах мужа. В них ложь, лицемерие. Ей уже 36 лет. Она едет в Умань, чтобы не потерять Потоцкого.
Более двух миллионов злотых пришлось заплатить де Витту за Софью, за то, чтобы 17-летний брачный союз между Софьей и Иосифом был расторгнут. Это был 1796 год. Но вымогательством де Витт продолжал заниматься до конца своих дней.
Обосновавшись в Тульчине с Софьей, Потоцкий продолжал удовлетворять все её прихоти. В это время и был задуман парк в дар Софье. Руководителем строительства парка был назначен военный инженер Метцель. Он разработал оригинальный художественно-архитектурный комплекс парка в «пейзажном стиле».
Однако с уникальным парком у Софьи были связаны не только прекрасные воспоминания первого периода жизни с Потоцким, но и трагические. Под усеченной Колонной Печали в парке были похоронены трое детей: Константин, Гелена и Николай, которые умерли почти одновременно во время эпидемии оспы. В 1798 году Софья родила Александра. Однако несмотря на все усилия, ей никак не удавалось стать законной женой Потоцкого. Жозефина упорно не давала развода неверному мужу. Помог в этом деле старший сын Потоцкого и Жозефины – Юрий. Он служил при дворце в Петербурге и вел откровенно разгульный образ жизни. Бесконечные долги покрывались из отцовских доходов. Когда на этой почве между сыном и отцом возник серьезный конфликт, Софья сумела примирить отца с сыном и обеспечить последнему необходимое денежное содержание. Впрочем, все это сделала Софья не бескорыстно, а при условии, что сын уговорил свою мать согласиться на развод. В утешение для брошенной жены гетман добился ей ордена Святой Екатерины 1-й степени и звания статс-дамы Императорского двора. Что ж, и здесь Софья оказалась на высоте. В 1798 году 23-летний брак между Жозефиной и Потоцким был окончательно расторгнут. В этом же году в предместье Тульчина Софья обвенчалась со Станиславом, став отныне графиней Потоцкой.
После долгожданной свадьбы Потоцкие предались неуемному веселью и развлечениям. В залах Тульчинского дворца не умолкала музыка, частыми стали балы, маскарады, увеселительные прогулки. Жозефина умерла. Единственным искренним другом Софьи, из детей Потоцкого от первого брака, был Юрий, который поселился в Тульчине, так как был разжалован государем Павлом I и выслан из Петербурга за разгульный образ жизни.
