Palazzo Fantoni fu costruito dal dottor Terenzio Fantoni alla fine del XVII secolo, su disegno dell'architetto Carlo Bergamini. La famiglia Fantoni si stabilì a
Fivizzano già dal 1534, proveniente da Firenze ed ebbe come figura di spicco Giovanni Fantoni, scrittore arcadico conosciuto come Labindo.
Il palazzo sorge tra via Labindo e via Sopra Mura, nelle vicinanze della Porta di Sopra o Porta Sarzanese. Qua si apre il bel portale sovrastato da un balcone, e dai finestroni in pietra serena. Al piano terra si trovano la "Stanza di Labindo" affrescata con motivi neoclassici, la "Stanza della Giustizia", la "Sala Rossa" per il colore dell'antica tapezzeria in seta che ornava una volta le pareti. Al Piano Nobile si apre una grande sala, il Salone d'onore, affrescata con motivi neoclassici e due grandi paesaggi ispirati all'Arcadia.
Il palazzo ospitò Francesco IV Duca di Modena, Vittorio Emanuele I re di Sardegna, Leopoldo II Granduca di Toscana e Giosuè Carducci illustre poeta ed è oggi sede del Museo della Stampa.
