Se mandó construir para el cardenal Diego de Espinosa, Obispo de Sigüenza, al que el rey Felipe II tenía en tal aprecio y consideración que en 1569 mandó comprar para Espinosa algún lugar para establecer su casa con el título de marqués (a expensas del propio rey).
Pero como el rey insistiera, aceptó construir un palacio modesto a condición de poner en la fachada el escudo real, para demostrar así que el edificio era levantado por mandato de Felipe II.
El Palacio perteneció a la familia Mata hasta el año 1931.
La escalera de piedra es muy elegante y está situada en un lateral.
A los lados en segundo lugar en importancia pueden verse las armas del cardenal portadas por unas matronas.