Situato alla sommità di una collina che presenta elementi geologici e resti fossili interessanti, il borgo di Olivola si sviluppa a forma di ferro di cavallo attorno ai ruderi di un castello appartenuto a lungo ai Malaspina. Con il terremoto del 1920, l'imponente struttura caratterizzata da quattro massicci torrioni d'angolo, collassò. Nel borgo spicca la massiccia chiesa di San Michele, più antica del castello, menzionata già nel XIII secolo e con l’abside ricavata all’interno della torre.
Il feudo malaspiniano ha una ricchissima storia. Ereditato dai discendenti di Bernabò I, figlio di Obizzino, fu lasciato al figlio Franceschino nel 1265, per cui divenne capostipite dei marchesi di Olivola e annessi. Il feudo comprendeva allora Aulla, Terrarossa, Bigliolo, Pallerone, Virgoletta, Monti, Licciana, Agnino, Bastia, Groppo San Pietro, Varano. La linea di Franceschino di Olivola dopo quattro generazioni si estinse nel 1412 per la scomparsa di tre fratelli, figli del Marchese Marco di Domenico, morti assassinati: Manfredi e Bernabò a Varano, e Giovanni a Olivola.
Il feudo di Olivola fu così smembrato e passò ai fratelli Leonardo II e Galeotto di Gragnola. Morti senza eredi maschi, prima Leonardo e poi Galeotto, lasciarono il feudo al Marchese Antonio Alberico I di Fosdinovo e a suo figlio Gabriele IV. Alla sua morte nel 1485, Olivola toccò al figlio Giovanni Battista, nel 1509, e quindi nel 1525 il nipote Lazzaro ricominciò la linea marchionale di Olivola, che durò fino al marchese Carlo, nel 1799, con l’abolizione del feudalesimo.