Sucesivamente fue colonia de los albanos y muy a menudo en guerra contra Roma, que en aquellos tiempos empezaba su expansión.

Labicum fue destruida hacia el final del Imperio Romano, entonces fue reconstruida en el sitio actual como un castrum, una ciudadela fortificada, a veces indicado como Castrum Lateranensis, en cuanto probablemente patrimonio de la iglesia: ya en el siglo VIII probablemente algunos Benedictinos habían fundado el convento de Colle Sant'Angelo.

En este periodo Valmontone fue llevada a su máximo esplendor artístico y monumental, siguiendo los planes del Príncipe, que quería realizar una especie de utópica ciudad ideal, la Città Pamphilia.

El papa Innocenzo X asistió al nacimiento de este proyecto en 1662, a Valmontone para ver el palazzo Doria que en aquellos años se estaba construyendo y percnotó en el primer piso.

En el siglo XVIII, los Pamphilj estaba en peligro de extinguirse, así que, con un matrimonio ad hoc, la familia se fusionó con los Doria-Landi, formado los Doria-Landi-Pamphilj.

En 1843 el pontífice Gregorio XVI, durante si viaje epistolar hacia Anagni, visitó la Collegiata y dio a Valmontone el título de "Città".