Su media-hermana, Lady Constance Malleson fue una escritora, actriz, y esposa de Bertrand Russell.
Su marido falleció en 1913, y un año más tarde hereda el Castillo Castlewellan, tras la muerte de su hermano Francis.
El Castillo era hogar de un famoso arboretum, con Annesley trabajando duro para recuperar las pérdidas incurridas debido a deberes irrenunciables.
Cuando más tarde desarrolló artritis, empleó lino en lugar de boj para continuar trabajando.
Se mudó de casa varias veces, viviendo también en Belfast, Connemara y en Rathfriland.
Annesley tenía un fideicomisario con la Galería de Arte Obispo Suter, en Nelson, mientras vivía en Nueva Zelanda, comprando para la Comisión, cuando ella visitaba Inglaterra.
Dejó una autobiografía inacabada llamada "Como la vista se dobla", la cual fue publicada por Museum Press en 1964.