Es una antigua propiedad del príncipe de Talleyrand, fue construido en el año 1540 por orden de Jacques d'Estampe sobre una antigua edificación feudal.George Sand escribió que "este lugar es uno de los más bellos de la Tierra y ningún rey podría tener un jardín más pintoresco".Los salones están amueblados de forma suntuosa en el llamado ‘’estilo imperio’’.Tras las abdicaciones de Bayona, Fernando VII, su hermano don Carlos y su tío D. Antonio estuvieron confinados en este castillo durante la invasión francesa de España, desde 1808 a 1814.En 1813 fue firmado en el castillo el Tratado de Valençay, por el que pudieron regresar a España.
