En 1734 fue nombrado capitán general y pasó a Valencia como tal en 1737, hasta su muerte en 1759.[2] En un principio, partícipe de los prejuicios y estereotipos que estigmatizaban a los gitanos, se convirtió en su principal valedor y convenció al rey para que concediera un indulto.No esperó sin embargo, y por su cuenta y riesgo relajó las duras condiciones del cautiverio de las gitanas a su cargo y comenzó a ponerlas gradualmente en libertad, conforme eran reclamadas por sus familiares.Sólo su muerte y la del propio rey en el verano de 1759, hizo que su propuesta cayera en un largo letargo, hasta que en febrero de 1761 Carlos III la retomó al mostrar su deseo de conceder un indulto y encargar a Esquilache, viera el “modo de libertar a todos los que están presos” y distribuirlos como había propuesto Caylus.Genealogía e historia del Ducado de Caylus.