С самого начала экспедицию преследовали неудачи. Из-за непогоды она пять раз пыталась выйти в море, пока, наконец, 10 февраля 1560 года корабли объединённого флота не вырвались из мессинской гавани. Длительные задержки с отправкой самым пагубным образом отразились на состоянии команд и экспедиционных сил. Началась цинга и дизентерия. Ещё не достигнув берегов Северной Африки, экспедиция лишилась почти двух тысяч солдат и матросов. Поскольку атаковать Триполи с подобной армией было невозможно, было принято решение высадиться на острове Джерба – одном из пиратских оплотов. 7 марта испанцы и итальянцы сошли на берег острова, ожидая сопротивления со стороны туземного населения. Однако местное население достаточно равнодушно встретило появление христианской армии, поэтому герцог Медина-Чели приступил к строительству укреплённого лагеря, который обезопасил бы войска от появления турок. К сожалению, герцог просчитался в одном – в сроках появления врага. В соответствии с обычной практикой того времени, турки не выходили в море раньше мая, поэтому Медина-Чели вполне обоснованно рассчитывал покинуть остров до того, как здесь появится вражеский флот. Но герцог просчитался. К тому времени флот под командованием Пиали-паши уже покинул Константинополь и направился к Джербе. В состав турецкого флота входили также корабли Драгута, для которого захват одного из его владений был открытым вызовом.
11 мая турецкий флот, состоявший из 86 галер, внезапно появился у берегов острова. Союзный флот оказался в той же ситуации, в которой в своё время был сам Драгут. Однако возможности избежать битвы у Дориа и Медина-Чели не было. Среди войск Священной лиги началась паника. Солдаты, которые ранее грузились на корабли, чтобы отплыть на родину, в панике бросались в лодки и отчаянно гребли к берегу. Несколько крупных галеонов сели на мель и превратились в отличную неподвижную мишень. Христианские галеры и галеасы смешались и потеряли строй. Сам Джованни Дориа и герцог Медина-Чели на небольшом судне сбежали с поля боя. В течение одного дня турки утопили или захватили практически все корабли союзников. На берегу, отрезанная от своей родины, осталась армия под командованием Альваро де Санде, который принял командование после бегства Дориа. Солдаты укрылись за стенами созданного ими укреплённого лагеря в надежде, что вскоре придёт помощь. Однако этому не суждено было осуществиться. Через три месяца упорной осады испанцы были вынуждены выкинуть белый флаг. Пять тысяч христиан попали в плен и были отправлены в качестве подарка султану в Константинополь.
Когда престарелый Андреа Дориа получил известие о поражении флота у Джербы и бегстве своего племянника с поля боя, это стало для него настоящим ударом. 25 ноября 1560 года, после причастия, он испустил дух. С его смертью многим показалось, что надежда на победу христианского мира над турецкой угрозой исчезла навсегда. Казалось, что турецкие армии непобедимы, а мусульманские пираты отныне могут спокойно и безнаказанно продолжать грабить берега Испании и Италии и ничто не способно их остановить.
Отчасти опасения испанцев и итальянцев были вполне обоснованны. После разгрома у Джербы ни испанский король Филипп II, ни его союзники не могли ничего противопоставить нападениям пиратов на свои берега. Этим и решил воспользоваться Драгут и другие пираты.
