Las más importantes mejoras se produjeron durante ese tiempo, incluyendo la barbacana, formada por tres partes, cada una con su propia entrada, puente levadizo, puerta y verja.
La torre del homenaje se llama Gloriette, en honor a la reina Leonor.
Enrique VIII transformó el castillo para su primera mujer, Catalina de Aragón, y en él se encuentra todavía un cuadro conmemorando su encuentro con Francisco I de Francia.
El castillo escapó de la destrucción durante la Guerra Civil Inglesa gracias a sus dueños, la familia Culpeper, aliada con los Parlamentarios.
El último dueño privado del castillo fue la honorable Olive, Lady Baillie, una hija de Almeric Paget, primer barón de Queenborough, y su primera mujer Pauline Payne Whitney una heredera estadounidense.