[1]​ En su perímetro, peatonal desde la última década del siglo xx, destaca la arquitectura de la iglesia de San Andrés y en especial el cimborrio de la capilla de san Isidro.

[6]​ Peñasco y Cambronero anotan también que en su origen el espacio estuvo ocupado por el cementerio de la parroquia de San Andrés, edificio que ya se menciona en el Fuero de Madrid de 1202, asociado al antiguo barrio mudéjar y a la morería.

Las primeras edificaciones particulares conocidas en su perímetro datan de 1699,[6]​ aunque con anterioridad a ellas algunos autores sitúan aquí la que fuera casa de Isidro Labrador, demolida en 1972, debido a su mal estado, que ocupaba un palacio del siglo xvi, propiedad de la familia de los Lujanes, levantado sobre el palacio de los Vargas, amos del que luego sería llamado San Isidro.

Posteriormente, el palacio fue ocupado por el Nuncio Apostólico tras el traslado de la Corte a Madrid.

Después, y hasta el siglo xix, el palacio perteneció a los condes de Paredes de Nava y, más tarde, al marqués de Peñafuente.