Aproximadamente en 1520 James entró al servicio del Cardenal Wolsey, que le alabó como un joven caballero "tanto sensato como discreto".

James y Joan tuvieron siete hijos: Durante los primeros años 1540, James Butler restauró gradualmente la dinastía a su anterior posición, dirigiendo la oposición contra el polémico Lord Diputado de Irlanda, Sir Anthony St Leger.

[4]​ Ormond reclamó una investigación sobre si St Leger había planeado su asesinato, y el asunto llegó a merecer una investigación por parte del Consejo Privado; el Consejo falló a favor de St Leger y él y Ormond recibieron la orden de trabajar amistosamente.

[6]​ Murió nueve días más tarde, el 28 de octubre, dejando viuda a Joan en la treintena.

[7]​ No se sabe que su anfitrión en la cena, John Dudley, Duque de Northumberland, aunque fuera una persona suficientemente cruel, mantuviera ninguna disputa con Ormond.