En 1564, cuando los sobrinos del cardenal Giovanni Ricci de Montepulciano adquirieron la propiedad, ésta llevaba tiempo dedicada a la viticultura.
Los nuevos propietarios encargaron a Annibale Lippi, el hijo del arquitecto, que siguiera la obra.
Como la Villa Borghese que está junto a ellos, los jardines de la Villa eran mucho más accesibles que los palacios formales como el Palacio Farnesio en el corazón de la ciudad.
Gracias a sus buenas relaciones con los reyes de España, los duques hospedaron en esta casa al pintor Velázquez, quien había caído enfermo con unas fiebres atribuidas a la poca salubridad del casco antiguo de la ciudad.
Desde entonces ha alojado a los ganadores del prestigioso Premio de Roma, con directores distinguidos como Ingres y Balthus.