En los últimos períodos medievales, se registra que Wenvoe pertenecía a tres familias: De Sully, le Fleming y Malefaunt.
Sin embargo, según Clifford Spurgeon, no fue hasta finales de la década de 1530 que se mencionó un castillo en Wenvoe, cuando apareció en John Leland's Itinerario.
La familia Thomas heredó el Castillo de Wenvoe en 1560 cuando Jevan ap Harpway de Tresimont, Hertfordshire se casó con Catherine, la única hija y heredera de Thomas ap Thomas.
[3] En 1774, la familia Thomas se endeudó y vendió la propiedad a Peter Birt, un magnate del carbón de Yorkshire.
Birt ordenó la construcción de un nuevo castillo en 1776-1777, bajo el diseño de arquitecto Robert Adam, su único edificio en Gales.