La penitenciaría fue construida entre 1856 y 1860, por disposición del segundo gobierno del presidente Ramón Castilla debido a la carencia de un sistema carcelario en el país.
Luego de un estudio realizado por Mariano Felipe Paz Soldán, se dispuso la construcción del edificio que quedó a cargo del arquitecto Michele Trefogli y Maximiliano Mimey.
El frontis del edificio reflejó un estilo arquitectónico de severidad, mostrando su finalidad reclusiva e intentando proyectar una imagen de inexpugnable, a la par que la disposición de las salas en su interior incluían zonas donde los presos trabajaban durante el día y celdas donde se recluían en las noches.
En su lugar se levantan actualmente el Centro Cívico de Lima y el Sheraton Lima Hotel & Convention Center, que fueron construidos durante el gobierno del General de División Juan Velasco Alvarado.
De 1913 a 1919 fue Director de la Penitenciaria Ramón Yrigoyen Díez-Canseco, siendo gobernantes del Perú Guillermo Billinghurst, Oscar R. Benavides y José Pardo y Barreda.