В 1629—1632 годах испанцы включили в состав флота военные корабли, и они на постоянной основе остались в Карибском море. Это мало помогало. Среди прочих трофеев пиратов оказался захваченный в 1635 году Пьером Леграном 54-пушечный флагманский корабль, который по какой-то причине, отстал от флота. В этом не было бы ничего особенного, если бы не одно обстоятельство – Легран командовал 4-пушечным люгером, с командой всего из 28 человек, а, значит, силы нападавших были в десятки раз меньше, чем у испанцев.
Первая неудача постигла голландцев в 1639 году, когда они не смогли захватить испанский флот. Во многом это произошло благодаря появлению фрегатов, которые были вдвое меньше галеона, однако несли то же количество орудий. Эти нововведения не смогли сдержать усиливающийся напор на испанские колонии Англии, Франции, Голландии, особенно учитывая слабеющую роль Испании в европейских делах.
В 1657 году в бухте Санта-Крус-де-Тенерифе английский флот под командованием Роберта Блэйка уничтожил Серебряный флот, что стало настоящей катастрофой для испанских финансов.
В 1668 году Генри Морган с отрядом из 400 пиратов захватил Портобелло – мощную крепость, считавшуюся неприступной, а в 1669 году – Маракаибо и Гибралтар.
Самой крупной операцией пиратов стал рейд на Панаму в 1671 году объединённых англо-французских сил из 1200 человек. Им удалось разгромить втрое больший по численности испанский гарнизон и, захватив город, разграбить до последнего песо.
В 1683 году французские буканьеры атаковали Веракруз и получили 800 тысяч песо в серебре и других ценностях. В 1697 году – Картахену, и население выплатило им 8 миллионов песо, чтобы они оставили город.
Силы Испании были ещё более ослаблены уменьшением добычи серебра в Америке. Его производство в Потоси достигло максимума в 1600 году и составило 9 миллионов песо. После этого в течение ста лет производство неуклонно снижалось. К 1700 году во всех испанских колониях добывали 11 миллионов песо в отличие от 16 миллионов столетием ранее. В то же время экспорт серебра из Азии достиг 4,5 миллиона песо и продолжал уменьшаться.
Война за испанское наследство нанесла невосполнимый удар её колониальной империи. Англо-голландский флот господствовал в Карибском море и на торговых путях через Атлантику, что не могло не сказаться на эффективности перевозки ценностей. Последствия разгрома Испании в этой войне ещё долго сказывались на перевозках золота и серебра через океан.
В начале XVIII века классический морской разбой в Карибском море практически исчез. Однако это совсем не означало, что испанские галеоны могли безопасно доставлять свой груз в метрополию. На смену флибустьерам, пришли королевские каперы. Как оказалось, обеспечивать пополнение бюджета своей страны за счёт испанских галеонов весьма прибыльное дело, и английский военный флот не упускал случая воспользоваться очередным европейским конфликтом в своих интересах.
В 1739 году британский флот под командованием адмирала Эдварда Вернона захватил Портобелло и атаковал Картахену. В 1748 году англичане напали на флот с сокровищами возле Кубы, взяли на абордаж и утопили несколько кораблей. Один из кораблей был взорван командой, рассеяв вокруг 10 миллионов песо.
Это настолько повлияло на испанских чиновников, что они стали искать более безопасные морские пути, стремясь обезопасить ценнейший груз от посягательств враждебных держав. Но и это слабо помогало.
