Más tarde, cuando el lugar pasó a estar bajo posesión del conde de Blois, se reconstruyó en piedra.

Antoine fue acumulando cada vez más deudas y en 1485 debió vender el castillo a Jacques d’Espinay, hijo de un chambelán del duque de Bretaña y también chambelán del rey.

El yerno de Valentinay era el ingeniero militar Vauban, quien visitó Ussé en varias ocasiones.

Años más tarde, el castillo pasó a ser propiedad de la familia Rohan.

Según la tradición del pueblo, el castillo fue la inspiración de Charles Perrault cuando escribió La bella durmiente.