El escritor y humanista Baltasar Porreño atribuyó al propio Felipe II parte del diseño del convento de Trinitarios Calzados.
[2] La orden Trinitaria fue fundada por Juan de Mata en el año 1198 y posteriormente, en el siglo XVI, cuando la ciudad es elegida como capital, deciden tener, al igual que otras órdenes religiosas, un edificio representativo.
El acceso a la Iglesia estaba en la calle Relatores y mostraba un bajorrelieve de la Santísima Trinidad.
Durante la invasión francesa el convento fue exclaustrado y se instaló en él la Biblioteca Nacional (entonces denominada aún Real Biblioteca Pública o Real Librería Pública), para la que fue su segunda sede después de haber estado en el Pasadizo de la Encarnación.
El inmueble fue utilizado entonces para albergar el Museo Nacional de Pintura y Escultura, que precisamente por la sede que tuvo fue conocido como Museo de la Trinidad.