Sin embargo, poco después, las dunas de arena que se adentraban en el lugar provocaron el abandono del mismo y su ruina.

Durante el siglo XX se llevaron a cabo algunos obras de restauración y los restos del castillo están protegidos por la legislación del Reino Unido como un monumento clasificado de grado II*.

[15]​ El lugar que ocupa el castillo y su entorno fue un tema popular para grabados, bocetos y pinturas a partir del siglo XVIII, siendo particularmente popular la vista de las ruinas desde el este.

[14]​ En el año 1879 aparecieron grandes grietas en la torre sur de la puerta, lo que provocó su derrumbe parcial.

[16]​ En 1922, había aumentado la preocupación por el estado del castillo y se llevaron a cabo discusiones entre el Pennard Golf Club, propietario del sitio, la Royal Institution y la Cambrian Archaeological Association.

[17]​ Se formó un comité conjunto para recaudar fondos para las reparaciones de la mampostería, pero los costos parecen haber sido excesivos y, en su lugar, la puerta de entrada fue reparada con hormigón entre 1923 y 1924.