Con el trascurso del tiempo, y tras sufrir diversas trasformaciones, esta casa señorial acabó siendo conocida como palacio de Viana.

Frente a esta se encontraba el convento ya mencionado, conociendo ese espacio, que actualmente ocupa la calle del Duque de Rivas, como Plazuela de las Monjas.

En su obra El antiguo Madrid, Ramón Mesonero Romanos describe el edificio como un palacio-fortaleza del Renacimiento español.

En 1843 este le encarga al arquitecto Francisco Javier Mariátegui una reforma del edificio, la que más lo modificó desde su construcción, aunque solo se llevó a cabo una parte.

Pese a esto la fachada fue respetada, manteniéndose muchos elementos anteriores al siglo XVIII.