El edificio fue empleado como cárcel hasta el reinado de Felipe V, que lo convirtió en palacio.

Entre los castizos madrileños había una expresión, dormir bajo el ángel, como sinónimo de ir a la cárcel; esta se debe al antiguo uso de este edificio, en alusión a la estatua del arcángel Miguel que corona su fachada.

[4]​ Otras fuentes señalan a Cristóbal de Aguilera,[2]​[10]​[9]​[11]​ Bartolomé Díaz Arias[10]​ y Juan del Río.

Este modelo tendría mucho éxito en la arquitectura de la Corte, y sería imitado en otros edificios.

En la fachada principal, un cuerpo a modo de retablo pétreo, muy severo y coronado por un frontón con "aletones", centra la atención.

[8]​ Entre los presos allí encarcelados, estuvieron el poeta y dramaturgo Lope de Vega,[12]​ el político Pascual Madoz, el poeta Espronceda, el general Rafael del Riego (desde donde fue llevado a la plaza de la Cebada para su ejecución)[13]​ y el bandolero Luis Candelas.