Il complesso del Palazzo Pontificio comprende, oltre al palazzo, al quale lavorò anche il Bernini, una serie di residenze papali. Sebbene la storia “ufficiale” delle Ville pontificie di Castel Gandolfo cominci solo con i Patti Lateranensi del 1929 – quando appunto quest’area di 55 ettari sui colli Albani fu inclusa tra le zone extraterritoriali della Santa Sede in Italia -, l’abitudine dei papi di frequentare i Castelli Romani risale a molto più indietro nel tempo. Il primo pontefice a scegliere i Colli Albani come residenza suburbana fu Paolo III (1534-1549), che si stabili a villa Rufina, oggi Falconieri, a Frascati, seguito nel 1626 da Urbano VIII, che villeggiò a Castel Gandolfo e promosse l’ampliamento e il restauro dell’antico castello medievale trasformandolo nell’attuale Palazzo Pontificio.
Del complesso fanno inoltre parte la settecentesca Villa Cybo (con un’ampia Aula delle Udienze inaugurata da Giovanni XXIII nel 1959), Villa Barberini (ex casale di caccia che conserva numerosi frammenti della villa romana di Domiziano), la sede distaccata estiva del Pontificio Collegio Urbano di Propaganda Fide, il seicentesco convento delle Clarisse di Albano (detto “delle sepolte vive”) e la Specola Vaticana, osservatorio astronomico realizzato nel 1933 con annesso museo. Castel Gandolfo e le Ville Pontificie possono essere ammirate ogni giorno, ma il sabato è a disposizione un treno dedicato che consente la visita in un unico itinerario con i Musei Vaticani e la Cappella Sistina.