Al lado encontramos la capilla del castillo, de planta circular y bien conservada, dedicada a San Vicente.

Las enfeudaciones debieron estar enmarcadas en las disputas que tuvieron la condesa Ermesenda y su hijo Berenguer Ramón I.

Entre el 1063 y el 1076 se documenta que Guisado II de Llusá jura fidelidad al conde Berenguer I por los castillos de Llusá y Merlés.

No lo consiguieron hasta el final del siglo XV, cuando, destruido el castillo durante la guerra civil de remensa, la baronía se incorporó a la Corona y en 1491 era creada la sub-veguería del Llusanés.

Al suroeste había probablemente una torre redonda de la que quedan unas trazas muy pequeñas del basamento.

Las dos estancias del lado sur son de planta rectangular, aunque la más pequeña es casi cuadrada.

La bóveda está construida con losas puestas a sardinel embebidas en hormigón de cal.

La ampliación del sector noreste puede corresponder a los siglos XII y XIV.

Cubierta con perfecta vuelta hemisférica, tiene un pequeño portal hacia poniente con arco de medio punto, y un ábside a levante cerca del cual se abren dos ventanas de doble derrame.

De largo (portal hasta el fondo) mide ocho metros y medio.