El nombre del lugar de Millars, situado a un kilómetro escaso de Madremaña, tuvo varias denominaciones: «Villa Miliasa» (881), «Milars» (1065), «Mias» y «Milliare» (1279).

La antigüedad del castillo, pues, la tenemos que situar en el siglo XIV.

Actualmente conserva el patio de armas, amplios salones y ventanales góticos del siglo XV, partidos en parteluces y capiteles de fina elaboración.

Se supone que era un sencillo edificio de una sola nave construido según las formas lombardas en el siglo XI.

Hoy en día conserva elementos románicos junto con modificaciones de época renacentista y moderna.