La construcción del castillo, que finalmente se contó entre los más grandes que se construyeron en Francia, comenzó durante la segunda mitad del siglo X bajo Hugo II de Lusignan (m. 967).
Lusignan se construyó en la región de Poitou, ocupando un punto fuerte natural, un promontorio estrecho que dominaba valles escarpados a ambos lados.
Lusignan en su apogeo, tal como lo fue a principios del siglo XV, se ilustra en las Très Riches Heures de Juan, duc de Berri, para quien fue una residencia favorita hasta su muerte en 1416.
Formó una enceinte adicional (fortificación circundante) cuando más tarde también fue encerrada por muros.
En el siglo siguiente, Lusignan fue reforzado a la manera moderna por el arquitecto militar de Luis XIV, Vauban.