La esposa del embajador era María Luisa Gonzaga (1726-1773).
María Manuela sufragó personalmente los gastos de la Santa Cuna del Niño Jesús (Basílica de Santa María la Mayor), un hermoso relicario donde se custodian los maderos empleados para el pesebre del Niño Jesús en Belén.
En 1772, el XI duque de Villahermosa, Juan Pablo, dejó la agregaduría de la Embajada en París, donde era embajador su suegro, y marchó primero a Londres y después a Madrid, desde donde se le envió destinado fuera por temor a su posible influencia en la familia real.
Juan Pablo, en que se vuelven a cambiar apellidos, fue un miembro destacado del "partido aragonés" en torno a Carlos III de España, partido de talante francófilo y volteriano, liderado intelectualmente por Pedro Pablo Abarca de Bolea (1718-1798), IX conde de Aranda, el notable militar y político que fue sucesor de Pignatelli en la Embajada en Francia, y que fue embajador en Francia durante catorce años, de 1773 a 1787, apoyando financiera y políticamente a través de Benjamín Franklin la independencia de los Estados Unidos desde antes de 1776, y embajador antes en Polonia e Inglaterra.
En 1777 hubo una venta inmobiliaria en Madrid, que abrió las puertas a reformas inmobiliarias y cambios por parte de los duques de Villahermosa, la pareja Azlor de Aragón-Pignatelli de Aragón hacia una conversión a palacio neoclásico del que se llamó Palacio de Villahermosa después de 1805, y que hoy es el actual Museo Thyssen-Bornemisza, situado en el Paseo del Prado, 8, frente al Museo Nacional del Prado y el Jardín Botánico de Madrid.