Ducado de San Carlos

Durante este período de más de dos centurias, sin embargo, los Carvajales no dieron el impulso que se requería para que la administración de la correspondencia fuera lo más expedita posible.Junto a ello, comenzaron a reunir un creciente poder, varios títulos de nobleza y un ingente patrimonio, lo que produjo cierto recelo en la Corona española.Estas tres razones esgrimió Carlos III para privar a Fermín Francisco de Carvajal-Vargas de su cargo hereditario y retornarlo al gobierno.Era indudable que los Carvajales tenían un nivel de vida bastante elevado.La familia reside en el Palacio del Marqués de Santa Cruz (Madrid), situado en la calle San Bernardino, desde que fue adquirido en 1870.