Entre sus hermanos se encontraba Thomas Caulfeild, el Teniente-Gobernador de Nueva Escocia.
[1] Sus abuelos paternos fueron William Caulfeild, I vizconde de Charlemont y la Honorable Sarah Moore (hija del II vizconde Moore).
[2] Caulfeild se casó con Elizabeth Bernard, hija de Alice Ludlow Bernard (hija de Stephen Ludlow, Secretario del Tribunal de Cancillería) y Francis Bernard, MP y juez del Tribunal de los Common Pleas (Irlanda).
Fue sucedido en sus títulos por su hijo mayor, James, quien fue nombrado Conde de Charlemont en 1763.
El vizcondado de Charlemont fue sostenido por los condes de Charlemont hasta 1892, cuando a la muerte del III conde de Charlemont, el vizcondado pasó a un descendiente del hermano menor del 3º Vizconde, Charles Caulfeild, Rector de Donaghenry.