Il borgo medievale di Gavignano si è sviluppato intorno all’antico castello che lo domina dall’alto, realizzato dai Conti di Segni ed oggi noto come Palazzo Baronale. Qui nel 1161 nacque Lotario, esponente della famiglia dei Conti di Segni, divenuto papa con il nome di Innocenzo III.

Dopo i danneggiamenti del 1495 il palazzo è stato completamente trasformato dagli interventi di recupero, assumendo sempre più le caratteristiche di residenza con cortili, ampi saloni e alloggi per la servitù.

Furono gli Aldobrandini nel ‘400 ad attuare una profonda ristrutturazione dell’edificio, innalzando l’ingresso principale rispetto al piano della strada, mentre nuovi interventi nel XX secolo hanno tentato di rispristinare l’aspetto medievale del castello.

Nell’attuale ingresso si nota un portale in tufo intitolato al Cardinale Pietro Aldobrandini, morto nel 1621.