Está situada en la ribera del río Ebro, en la comarca de Páramos.

Se encuentra en el espacio natural de las Hoces del Alto Ebro y Rudrón.

Escalada se fundó en la Alta Edad Media como el resto de localidades del entorno.

El edificio actual fue reconstruido por Gregorio Antonio Gallo, obispo de Segovia, que trasladó el solar familiar desde la cercana Quintanilla Escalada.

En los Países Bajos Españoles, en Flandes, se encontraba un palacio llamado 'de las siete torres', propiedad de Juan López Gallo.

Fechada en el último tercio del siglo XII, destaca por la elegante y fina decoración que adorna sus perfectas arquivoltas de medio punto.

En su factura se aprecian influencias de distintas escuelas y grupos románicos.