El coronel James Butler era hijo de Richard Butler de Galmoye y nieto de Edward Butler, segundo vizconde de Galmoye . Era el heredero de Piers Butler, tercer vizconde de Galmoye , que murió sin descendencia masculina. Sin embargo, la sucesión del coronel Butler al vizcondado no fue reconocida. Esto se debió a que una ley del Parlamento irlandés había declarado que los títulos del tercer vizconde habían perdido vigencia en 1697. [1] Fue coronel de la Brigada Irlandesa al servicio de Francia.
Cuando murió en 1770 sin dejar descendencia masculina, sus títulos (si es que existían) fueron asumidos por el hijo ilegítimo de su hermano menor,
el capitán Francis Piers Butler, de la Brigada Irlandesa. El capitán Butler se casó con Catherine-Julie de Vallory tras el nacimiento de su hijo, Piers-Louis-Antoine. Este Piers murió sin descendencia en 1826.