Agnino si trova lungo la strada che porta da Fivizzano a Licciana Nardi, tra la valle del Taverone e del Rosaro. Sopra il borgo si trovano i pochi resti del castello, sulla cima della rupe da cui si ammira uno splendido panorama della valle.
La prima menzione scritta del castello è del 1275, ricordato nella divisione del feudo di Filattiera e indicato nei possedimenti di Francesco d'Olivola. Il castello legò però la sua storia ai Malaspina della Verrucola prima e a Firenze dopo.
È circondato da piccole borgate suggestive come Fazzano, Follegnano e Mezzana.