Las obras se iniciaron en 1770 bajo la dirección del ingeniero militar Juan Caballero a instancias del rey Carlos III invirtiéndose 7.717.200 reales.Durante la invasión francesa de los Cien mil hijos de San Luis (1823), en la última planta del edificio estuvo "cautivo" el rey Fernando VII hasta su liberación.Durante la proclamación del Cantón de Cádiz en su lugar comienza a funcionar la Junta General del Gobierno Provincial, presidida por Juan Bautista Topete.[1] Es de planta rectangular con dos patios cuadrangulares porticados.Dentro del palacio cabe destacar el Salón Regio, realizado bajo la dirección del arquitecto Juan de la Vega, obra llevada a cabo en 1862, cuando el palacio sirvió como residencia a la reina Isabel II, en su viaje a Cádiz.
