En 1288 el castillo y las tierras fueron dadas como dote a Amanieu VII d'Albret, que se convirtió en el señor des Vayres.

El castillo permaneció en su familia durante trescientos años, hasta la época del rey Enrique IV.

Recibió el apoyo financiero del rey Edward II de Inglaterra, y se transformó al castillo en una gran fortaleza.

A partir de ese período, la torre del homenaje, la entrada y los fosos, actualmente secos, aún permanecen.

Durante el siglo XIV, sus sucesivos propietarios cambiaron de ida y vuelta entre los bandos francés e inglés.

Enrique IV heredó el edificio a través de su madre, Jeanne d'Albret.

Se quedó en el castillo varias veces, y luego en 1583 lo vendió, en gran parte en ruinas, a Ogier de Gourgue.

Se armonizaron las estructuras y creó una escalera monumental en el sitio de los antiguos fosos.