En 1793 siendo director de la Academia de San Carlos, le fue encomendado al arquitecto González Velázquez el proyecto para la construcción del edificio que albergaría a la Real Fábrica de Tabacos junto con el Ingeniero militar Miguel Constanzó, un proyecto que databa de 1786 y que había tenido varios cambios en la dirección y planeación de la obra y que había sido suspendido en varias ocasiones.

Los arquitectos González Velázquez y Constanzó trabajaron en el hasta 1797 cuando fue suspendido de nueva cuenta.

[4]​ Finalmente, siete años más tarde el virrey Iturrigaray retomó el proyecto, en 1804, quedando al frente de la construcción el arquitecto Ignacio Castera, quien concluyó la obra en 1807.

Afortunadamente aún subsiste su obra maestra que es el Templo de San Pablo el Nuevo y también el Templo de Jesús María, donde le fue encomendado remodelarlo y adaptarlo para que siguiera los lineamientos neoclásicos.

Las portadas resultantes son consideradas una de las mejores intervenciones de su tipo, ya que en otros edificios donde las fachadas fueron reemplazadas para adaptarlas al estilo neoclásico, los resultados no fueron del todo armónicos.