James y su familia abandonaron Irlanda en 1651 durante la conquista de Cromwell, tras lo que Hamilton se incorporó a la corte del exilio para regresar a Inglaterra durante la Restauración.
En 1673, durante la Guerra Anglo-Holandesa, Hamilton perdió una pierna en un combate naval con los holandeses, muriendo a los pocos días.
James era uno de nueve hermanos, [9] entre los que se cuentan Elizabeth y Anthony.
[15] Se establecieron en Caen [16] donde permanecieron durante algún tiempo con Elizabeth Preston, marquesa de Ormonde.
Parece entonces haber formado parte de la corte del exilio de Carlos II,[17] mientras que su madre fue a París, donde vivió en un convento, junto con su hermana Eleanor Butler, Lady Muskerry.
[23] Carlos devolvió al padre de James sus propiedades en el Ulster.
[26][27][28][29] Durante esa época, James cercó parte de Hyde Park y lo repobló con ciervos.
[30] Durante el Interregno se erigieron por primera vez edificios entre lo que hoy es Old Regent Street y Hyde Park Corner.
Después de la Restauración fueron arrendados a James Hamilton en un contrato, renovado por su viuda en 1692 por 99 años.
[34] James y Elizabeth tuvieron tres hijos: – 1734), que sucedió a un primo segundo como sexto conde de Abercorn [35] Su conversión le abrió una carrera en el ejército inglés.