Il castello di Monterosso sorge sul costone roccioso che divide l'antico nucleo abitato dalla più lontana Fegina. La primitive costruzione di origine obertenga fu rafforzata e ampliata da Genova. Oggi restano tratti di mura, tre torri circolari e una torre quadrata angolare.
Il sistema difensivo di Monterosso comprendeva anche una torre di guardia nel borgo, l’odierna torre campanaria della chiesa di San Giovanni Battista e un'altra torre posta sugli scogli, tuttora esistente, la Torre Aurora.