El palacio, de planta cuadrada, tiene dos alturas, un cuerpo abuhardillado y cubierta a cuatro vertientes.
La pequeña capilla, de planta rectangular, posee cubierta a dos vertientes.
Don Juan Manuel comentaba que podía viajar desde Navarra a Granada durmiendo cada jornada en un señorío, una villa o en un castillo propios.
En el siglo XIV, el territorio pasa a denominarse ya como Villaviciosa, tomando dicho nombre por la fertilidad que tenían sus tierras, que ofrecía una abundancia de productos.
Una vez en el concejo se dirigió junto con su hermana Leonor hacia la Villa hospedándose en la casa de Rodrigo de Hevia, en la cual permaneció tres días y cuatro noches completas, recibiendo durante su estancia a los regidores del concejo.
En el siglo XVII se produce un gran cambio en la villa, transformándose por completo el panorama urbanístico de la misma, apareciendo nobles casonas, palacios y plazuelas, conservándose actualmente buena parte de este desarrollo urbano.