Hasta la reducción del nivel del agua en 1875, el castillo se encontraba protegido de manera natural por el lago sobre su lado sureste.
Fue en el siglo XIV, durante la dinastía de los condes de Grandson, con el conde Otón I, cuando se realizaron las obras defensivas más significativas, como las tres torres fortificadas, aunque también fue en este siglo cuando se declaró un incendio en los terrenos y destruyó gran parte del castillo.
Los saboyardos fueron los señores y condes del lugar hasta el año 1420, cuando lo cedieron a los condes de Chalon-Arlay, que edificaron dos torres defensivas más.
En febrero de 1476, Carlos el Temerario intentó recuperar la fortaleza que había sido tomada por los confederados berneses el año anterior.
La reacción de los suizos no se hizo esperar, y el 2 de marzo iniciaron un ataque contra las tropas borgoñesas, las cuales, a pesar de su superioridad en artillería, se desorganizaron y resultaron derrotadas en la batalla en Concise, teniendo que batirse en retirada ordenada por el duque de Borgoña, dejando tras de sí un importante botín y el castillo.