[1] Existen dos teorías sobre el origen de su nombre: una hace referencia a su similitud estructural a una casa homónima ubicada en Sevilla (España),[2] mientras que otra la recoge Ricardo Palma en sus Tradiciones Peruanas, donde relata la historia de un acaudalado comerciante sefardí, de origen portugués, Manuel Bautista Pérez,[3] que residía en casa como inquilino.
Tras una denuncia, fue acusado por el Tribunal de la Inquisición de llevar a cabo ceremonias profanas con imágenes sagradas y posteriormente fue motejado como "Pilatos".
[5] La casa fue restaurada en el siglo XX por Héctor Velarde Bergmann.
hasta que el estado peruano la compró durante el segundo gobierno de Manuel Prado Ugarteche.
Luego acogió por buen tiempo al Instituto Nacional de Cultura.