Parece que el fallecimiento de su primogénito le indujo, tras una larga viudez, a contraer un nuevo matrimonio.
Tres años después, ya de nuevo en Madrid, el rey Carlos III le nombró su mayordomo mayor, lo que le convertía en jefe superior de palacio.
Allí conocieron al inventor norteamericano Benjamin Franklin y también a enciclopedistas franceses como Voltaire o D’Alembert, coincidiendo con la muerte de Jean-Jacques Rousseau.
Durante su mandato se publicaron las primeras ediciones (1780, 1783 y 1791) del Diccionario de la lengua castellana en un solo tomo «para su más fácil uso».
[2] En 1794 patrocinó el traslado de la Docta Casa a su actual sede de la calle Felipe IV, construida por el arquitecto Miguel Aguado en terrenos del antiguo Palacio del Buen Retiro cedidos por la Casa Real.