[4]​ Ha sido restaurado parcialmente en fechas recientes, aunque aún mantiene elementos en avanzado estado de deterioro.

Después de su conquista los musulmanes fueron expulsados tras una rebelión, repoblándose la zona con colonos catalanes, aragoneses y castellanos.

[5]​ En el año 1604 Felipe III creó el marquesado de Albaida, contra cuyo titular se sublevarían poco después los labradores, debido a los excesivos impuestos, sublevación duramente reprimida por el virrey.

Aunque con anterioridad a la construcción del palacio ya debía existir en esa misma ubicación una casa señorial más o menos fortificada, el edificio que hoy conocemos tiene su origen en los años 1471-1477, cuando los Milá de Aragón obtuvieron el señorío de Albaida, y concretamente con el cardenal Lluís-Joan del Milá i Borja.

[5]​ Cuando sufrió su primera reforma (siglo XVI), los Milá todavía residían esporádicamente en Albaida, cerrándose en forma de cuadrado con un patio interior.

Se levantaron dos nuevas torres, las conocidas como del Mig y de Llevant (Medio y Levante), aunque ya para entonces el edificio tenía un carácter mucho más residencial que defensivo.

La última gran reforma tuvo lugar a principios del siglo XVII.

La última obra destacable, ya del siglo XIX, es la de la actual entrada principal desde la Plaza Mayor.

A destacar, en las diferentes fachadas del palacio, los escudos heráldicos de distintas épocas.

Símbolo del antiguo poder feudal ahora se ha transformado en espacio público con múltiples pinturas barrocas y obra de Bertomeu Albert de finales del siglo XIII.

El edificio se divide en tres cuerpos bien diferenciados, delimitados por tres torres de planta cuadrada situadas a lo largo de la fachada principal cuyo origen es la antigua muralla islámica sobre cuyo tapial se sostiene parte del inmueble.

[1]​ La evolución posterior de las obras y especialmente la apertura del arco del siglo XVIII, transformaron la construcción volcándola hacia el pueblo y recayendo hoy la entrada principal a la plaza Mayor.

[1]​ El segundo arco, el cual conduce directamente al vestíbulo del palacio, es el de más reciente apertura y se puede datar a finales del siglo XIX, cuando el palacio había dejado de pertenecer a los marqueses.

El palacio recibe iluminación directa a través de muchas ventanas y balcones que se han ido abriendo a lo largo del tiempo y muestran las diferentes alturas del edificio.

[3]​ En enero de 2008 sufrió un incendio que afectó a una parte del edificio.