Aquí vivió en sus celdas y enseñó, desde su cátedra de Sagradas Escrituras, Baltasar Gracián.
Del conjunto monumental, merece la pena destacar el claustro cuadrado construido en los siglos XVII al XVIII, que también es de ladrillo.
El refectorio está azulejado con cerámica de Valencia.
En el complejo se encuentra la iglesia del Real Seminario de San Carlos Borromeo con fachada de ladrillo, restaurada en el siglo XVII d. C. tras sufrir un incendio, y cuyo interior barroco es el más suntuoso y espectacular de la ciudad.
La magnífica biblioteca que reunió el político ilustrado Manuel de Roda se conserva en el Real Seminario.