En 1862 se inauguró frente a la casa la Penitenciaría de Lima.
Se afirma que la cárcel y sus alrededores sirvieron en aquellos tiempos como centros de interrogatorio para reos comunes y militares, especialmente en tiempos de la Guerra del Pacífico.
El dueño, Ladislao Thierry Tiry, llegó a un acuerdo con el banco que alquilaba el primer nivel para remodelar este piso, y reconstruir el segundo con material aligerado.
[4] Las leyendas asociadas con el edificio son variados, desde su origen hasta sucesos paranormales que allí supuestamente ocurrieron.
Años más tarde, en su libro El cazador de fantasmas, el conductor desmintió la leyenda urbana, diciendo que nunca sucedieron tales hechos, y lo único que buscaba era subir la audiencia de su espacio televisivo.