Nella parte più alta del paese, antica Ulmeta, sorge l’originario insediamento fortificato, risalente al XIII secolo, come riporta un documento del 1231, in cui il vescovo di Luni Guglielmo e Pietro di Bernardino della famiglia dei Bianchi d’Erberia concessero a Venanzio, abate di San Caprasio di Aulla, di fortificare l’abitato.
Del castello rimane oggi solo la torre, mentre la restante struttura è stata distrutta nei secoli o inglobata negli edifici adiacenti, oggi abitazioni private. Di forma rettangolare, si trovava integrata nelle mura di difesa con il compito di proteggere uno degli accessi al borgo.