Così chiamato per essere stata la casa dell'ammiraglio genovese Andrea Doria nel 1528, quando mise a disposizione le sue navi alla Spagna per il controllo del Mediterraneo, a scapito della Francia, l’edificio di origine medievale era sede dell'ospedale dei Santi Pietro e Paolo. Il palazzo si trova tra il castello e l’antico porto, attuale piazza Garibaldi.