Este hecho requería el establecimiento de un seminario en la nueva sede diocesana.

Inicialmente, se estableció en el palacio arzobispal, en la calle de la Pasa.

A principios del siglo XIX entroncaron las casas del Infantado y Osuna, por lo que el palacio fue conocido como palacio de los duques de Osuna.

[5]​ La archidiócesis de Madrid compró el palacio y en 1900 lo derribó para construir el seminario.

El presbiterio y el ábside sobresalen del edificio, extendiéndose ligeramente hacia el oeste.

Por otra parte, su gran volumen relaciona el edificio con las construcciones militares de la época.