Habría sido habitado por los Reyes Católicos, Germana de Foix, Juana la Loca[1] y el cardenal Cisneros.[4] El edificio, que contaba con una torre, prematuramente desaparecida, terminaría demolido completamente en la segunda mitad del siglo XIX.[2] Benito Pérez Galdós se acuerda de él en su postrera obra La razón de la sinrazón, con las siguientes palabras: El inmueble, que ocupaba un enorme espacio y daba fachada a la plazuela de la Paja, formó independiente la manzana 130.Igualmente recibieron en esta misma casa a su hija la princesa Juana y su esposo el archiduque, después Felipe I; y después de su muerte se aposentaron en ella los regentes del reino, el cardenal Cisneros y el deán de Lovayna.El palacio, que permaneció en pie hasta entrado el siglo xix, se conservó en un estado razonable hasta mediados de dicho siglo, cuando empezó a desmoronarse y tuvo que derribarse, por ruinosa, gran parte de él, además del pasadizo que comunicaba a la tribuna de los reyes en San Andrés.
