La familia Oliver Gascoigne se originó en el momento en que Richard Oliver, originario de Castle Oliver , Limerick, Irlanda, heredó la fortuna de Sir Thomas Gascoigne de Parlington Hall , Yorkshire, en 1810. Sir Thomas estipuló en su testamento que Richard agregara " Gascoigne' a su nombre. [1] Richard se había casado con la hijastra de Sir Thomas, Mary Turner, en 1804. Richard y Mary tuvieron dos hijas, Isabella y Elizabeth, que heredaron la fortuna de sus padres en 1843. Las hermanas demolieron su hogar ancestral en Irlanda y construyeron un nuevo castillo. Oliver a unos cientos de metros al noreste. El castillo todavía existe.