En relación con dicho olivar se conserva la leyenda de tradición católica de la supuesta profanación en 1564 del crucifijo que coronaba el viacrucis en lo alto de la cuesta (delito una vez más imputado a 'unos judíos').
Atribuye la leyenda a Felipe II el gesto piadoso de ordenar que la corte 'del imperio en el que no se ponía el sol' vistiese de luto, y apremió al cardenal Quiroga, arzobispo de Toledo, que buscase un artista que recompusiera la imagen y se llevase en solemne procesión al convento de Atocha y de allí a la ermita reedificada en 1598 y que tomaría el nombre de ermita del Cristo de la Oliva.
Algunos biógrafos del escritor canario Benito Pérez Galdós, lo citan como vecino de paso en esta calle recién llegado al Madrid decimonónico que luego inmortalizaría en el conjunto de su obra.
[5] No se sabe si aquel primer contacto con los 'barrios bajos' de la capital de España dejó alguna huella especial en el escritor, pero sí queda constancia -por su diario y por el contenido de sus novelística- que fue un gran paseante y mediano sociólogo del laberinto del 'viejo Avapiés'.
Quede como muestra este breve fragmento sacado del capítulo XXVIII de su novela Misericordia: