El edificio original fue construido durante el Renacimiento y se conserva en muy buen estado.El primer castillo fue construido por Prégent Frotier a finales del siglo XV, en tierras que habían pertenecido a Nicolas Turpin de Crissé en el siglo XIII, y que pasaron a formar parte de la baronía de Preuilly en 1412.En 1699, la baronía Château d'Azay-le-Ferron fue adquirida por Louis-Nicolas Le Tonnelier de Breteuil.Cuando ella murió en 1952, legó la casa y el parque a la ciudad de Tours.Existen aún pocas alineaciones de ese temprano jardín y se preservan cuidadosamente.En 1995, la Universidad François-Rabelais en Tours creó un huerto de perales y manzanos en una parte del parque.En 2008, se agregó un camino que trazó la historia de la rosa desde la época romana hasta el presente.