Este hecho singular vincula la producción de tabaco con el trabajo exclusivamente femenino.[1] Después del primitivo enclave se utilizó como sede un edificio en la calle Rosario, frente al n.º 69.Precisamente allí, a escasos metros, se construiría la estación de ferrocarril que uniría Cádiz con Sevilla en 1861.Esa primitiva fábrica se cerró en 1870 por orden del Ministro de Hacienda, Laureano Figuerola.La Fábrica llevó una vida tranquila, hasta que en enero de 1881 y por iniciativa nuevamente del Ayuntamiento, se le da un nuevo impulso, entablándose conversaciones con la Hacienda Pública para ampliar la plantilla de obreras.y Hacienda acepta emplear a un total de 1958 operarias/os, más 1621 que ya existen en la plantilla, siendo finalizados los trabajos en 1885.El Estado actúa con despreocupación, cosa poco inusual en un organismo público en la época del caciquismo político.El edificio al que se trasladó la Fábrica de Tabacos en 1829 estaba situado en la calle Plocia.Sus tres pisos de altura se alzan sobre una planta irregular, formando una manzana exenta.Sobre la puerta principal se conserva el escudo barroco de la primitiva fábrica, realizado en mármol blanco en 1741.El desplazamiento de esta actividad fuera del centro histórico suscitó protestas ciudadanas.Ante su fachada principal se construyó, en 1950, la nueva sede de la Aduana, cuyo diseño responde a la estética oficial del régimen franquista, evocando las formas clásicas.
Fachada de la antigua Fábrica, actual Palacio de Congresos