Federico Zuccari era un artista de Urbino, que había ya trabajado en Roma y en Florencia (sobre los frescos en la cúpula de Santa Maria del Fiore) creándose una cierta fama.El artista se arruinó casi para llevar a término sus grandiosos proyectos, que debieron ser en parte redimensionados.Girolamo Rainaldi engrandeció luego el complejo, dándole el aspecto que había mantenido hasta 1904, cuando fue grandemente reestructurado.Durante el Grand Tour se convirtió en un lugar para los artistas y allí pernoctaron Joshua Reynolds, Johann Joachim Winckelmann, Jacques-Louis David y los nazarenos, que allí dejaron un fresco hoy en Berlín.A continuación pasó a ser propiedad de Enrichetta Hertz, que luego la cedió al gobierno alemán, constituyendo la Biblioteca Hertziana, especializada en Historia del arte.
