Solo se conserva hoy de su planta en cuadrilátero (llamada en "U" o "en herradura") el ala izquierda, modificada a mitad del siglo XVII, ya que el adquirente de 1804 hizo demoler con minas el cuerpo central y el ala derecha en escuadra..[5]​ Uno de los dibujos de Primaticcio anotado «a annet» (Phèdre et Hippolyte, Museo del Louvre), es sin duda un proyecto para los vitrales encargados al maestro vidriero Nicolas Beaurain en 1548.

La capilla fue restaurada en 1844-1851 por el arquitecto Auguste Caristie y se vistió su fachada con un pórtico, anteriormente enmascarada por una ala (galería).

Felipe Augusto estuvo en ella varias veces mientras asediaba Normandía cuyo río Eure formaba en ese entorno la frontera.

Los retratos de ella que aparecen más auténticos no contradicen la imagen de una mujer con una buena salud y un cuerpo endurecido por los largos paseos a caballo y los baños fríos en todas las estaciones.

Acordado en Anet, su matrimonio con Catalina de Médicis en 1533 no consiguió hacer olvidar ese amor caballeresco adolescente tímido y taciturno.

En 1536, tras la muerte de su hermano mayor, el joven Enrique se convirtió en heredero del trono.

La situación de Diana se vio reforzada aún más, especialmente ya que, con el pretexto de un homenaje platónico, el Delfín también adoptó la ropa blanca y negra, e identificó su emblema, un creciente, que la mitología atribuía a la deidad cazadora, y ostentó el famoso monograma donde la H y la D se entrelazaban.

La Gran Senescala mantuvo con la esposa de Enrique relaciones que se querían cordiales.

Desde el año anterior, 1546, Diana había pensado construir en Anet una residencia más grande y bonita que la vieja mansión gótica de los Brézé.

Este ya se había dado a conocer trabajando para el cardenal Du Bellay en Saint-Maur-les-Fossés y Enrique II le había confiado la construcción de la tumba del difunto rey.

Esta parte del castillo prolongó hacia el oeste la vieja mansión que Diana quiso mantener incorporándola en su nueva residencia.

Por último, por debajo del edificio principal se encontraban los jardines, rodeados por una larga galería en la que dos pabellones cuadrados ocupaban los ángulos extremos y que conducía a un gran edificio usado para sala de festines o salón de baile.

La parte central de la fachada principal está constituida por un bello portal en el que, por primera vez, cada planta está marcada por columnas de un orden diferente: dórico, en la planta baja, jónico en la primera y corintio en la segunda.

Las ventanas, divididas por parteluces de piedra como en el siglo anterior, se rematan alternando frontones triangulares y curvos.

Estos siguen siendo grandes cenotafios muy ornamentados que completan las cepas de varias chimeneas monumentales.

Su fachada tiene un pórtico de columnas jónicas parejas espaciadas entre torres coronadas por espiras piramidales.

Apenas el rey expiró Diana, que se esperaba lo peor, devolvió a la reina madre las joyas de la corona que su marido le había regalado y humildemente le solicitó su perdón.

Aunque previéndolo, había casado a su hija menor, Louise, con Charles Aumale, hermano del duque de Guisa, que se convirtió en su mejor protección.

En Anet recibió la visita del rey Carlos IX (1567), pero sobre todo, construyó y completó la capilla funeraria, un enorme edificio de ladrillo y piedra encargada al arquitecto Claude de Foucques.

El primer acto del nuevo señor fue consagrar en 1577 la capilla y transferir en solemne entierro los restos de su abuela, Diana, que habían permanecido hasta entonces en la iglesia parroquial.

Por desgracia, Carlos, durante las guerras religiosas fue uno de los más feroces oponentes del futuro Enrique IV.

El Parlamento le declaró culpable de lesa majestad y fue condenado a muerte.

Afortunadamente, Enrique IV, en un espíritu de apaciguamiento, no ejecutó esta cláusula del juicio.

También se le debe el vestíbulo, el elemento más puro y auténtico con su suelo embaldosado en blanco y negro y su escalera "muy atrevida de diseño" (Roux) en rampa de hierro forjado a su figura, hecha por un constructor local según los planos del inspector de edificios del rey Desgaux.

Se permaneció a regulación de esta sucesión hizo vender la biblioteca, incluyendo 171 manuscritos en pergamino que pertenecieron a Diana de Poitiers que se mantuvieron allí desde su muerte.

En 1804 Demonti hijo, nuevo propietario, continuó la carnicería talando los árboles del parque y haciendo demoler con explosivos los dos tercios de la residencia (cuerpo central y el ala derecha), lo que terminó por indisponer a la población; en 1811 la caída mortal de un trabajador que empezaba a desguarnecer el techo del ala izquierda provocó una revuelta que lo obligó a abandonar su negocio de liquidación y huir.

En 1820 el castillo, vacío y abandonado, fue adquirido por la duquesa viuda de Orleans, que murió nueve meses más tarde, y su hijo, el futuro rey Luis Felipe, dada la magnitud de las reparaciones a realizar, lo vendió a Louis Passy, recaudador general (¿de Finanzas?)

del departamento de Eure; No vivió en Anet y solo hizo cercar con un muro el extremo que permanecía abierta del ala izquierda, a lo que ahora se reduce el castillo.

En 1840, todavía en mal estado, fue adquirido por el conde Adolphe de Riquet de Caraman (1800-1876), un explorador franco-alemán que había hecho un viaje por Tierra Santa que le había llevado a Siria y Palmira.

En 1879, el criptopórtico (base del cuerpo central) enterrado y considerado hasta entonces como destruido, fue redescubierto.