L’edificio originale fu costruito nel 1630 al posto di una serie di immobili di proprietà della potente famiglia Pamphilj, in forme tardo rinascimentali.

Quando il committente Giovanni Battista Pamphilj divenne papa nel 1644 con il nome di Innocenzo X, la famiglia ritenne che il palazzo non fosse sufficiente per il nuovo prestigio e iniziò una nuova e più imponente costruzione.

Ne fu incaricato Girolamo Rainaldi. Il nuovo progetto inglobò edifici contigui, compreso il precedente palazzo dei Pamphilj, le cui decorazioni di Agostino Tassifurono almeno in parte mantenute, il Palazzo Cybo e il palazzo dei Mellini.

L’interno ha tre cortili. L’ingresso è particolarmente alto e luminoso: il piano nobile ha 23 stanze affrescate da artisti come Giacinto Gemignani, Gaspard Dughet, Andrea Camassei, Giacinto Brandi, Francesco Allegrini, Pier Francesco Mola. Pietro da Cortona nel 1651-1654 dipinse la lunga galleria, progettata da Borromini, con le Storie di Enea.