Fue terminado a mediados del siglo XVI para Alonso de Velarde y actualmente está habilitado como museo.
Fue edificado en el siglo XVI por Alonso Velarde, vástago de un poderoso linaje local.
El palacio se sucedió en el linaje de Velarde y siguió en sus descendientes hasta principios del siglo XX.
La última dueña hereditaria fue María García de la Llata,[2] que en 1915 lo vendió al escritor Ricardo León.
En 2008 fue puesto en venta por el célebre médico de la Universidad Yale, Francisco Guerra.