Su construcción, iniciada por Juan Sánchez de Oño, comenzó en la segunda mitad del siglo XIV siendo levantada, de todo el conjunto actual, únicamente la torre oeste de planta cuadrada y tejado a cuatro aguas.
Fue vendida a Juan de Velasco en el año 1401 y más tarde recuperada por la familia Alvarado en el siglo XVI, quienes le añadieron el cuerpo central y la torre este conformando su porte palaciego con grandes ventanales simétricos.
En una esquina de la torre este hay otro escudo muy desgastado en el que ya no se aprecian los relieves.
Construido en mampostería, excepto la sillería de piedra arenisca en sus esquinas, ventanas y puertas.
Hasta hace unas décadas varias partes del palacio eran utilizadas como viviendas y cuadras.