Inicialmente se destinó a ser Real Fábrica de Aguardientes y Naipes y, tras un breve período en funcionamiento, fue convertido en Fábrica de Tabacos y Rapé en 1809, utilizándose como fábrica de tabaco hasta finales del siglo XX.

El edificio se abandonó definitivamente en el año 2000 tras la privatización de La Tabacalera/Altadis y quedó vacío durante casi una década.

La parte del edificio que gestiona el Ministerio, Tabacalera Promoción del Arte, desarrolla un programa permanente de exposiciones temporales y de actividades en torno a la fotografía, el arte contemporáneo y las artes visuales.

En noviembre de 2009 el ministro de Cultura, César Antonio Molina, presentó a los medios el proyecto elegido, junto a sus autores, los arquitectos Fuensanta Nieto y Enrique Sobejano.

Para la integración existen una serie de protocolos que implican cuidar el espacio y respetar los principios del Centro.