Su uso varió como estructura defensiva, capilla e incluso residencia, y estaba unido al palacio ducal de varias plantas, que albergaba un patio interno.

Dicho patio tenía galerías de madera que circundaban la muralla interior y eran utilizadas como accesos a otras dependencias sin entrar al palacio como tal.

El castillo fue decorado con variedad, incluyendo cubiertas de azulejos, ladrillo cocido y vidrieras.

Es completamente nuevo, construido en ladrillo en canon francés.El gran duque Vitautas el Grande murió en el castillo sin ser coronado rey de Lituania en 1430.

La Metrica del Gran ducado de Lituania se conservó en la fortaleza hasta 1511.

Durante las contiendas con el Principado de Moscú, el castillo fue dañado y nunca se reconstruyó, por lo que cayó en abandono.

La Comisión Arqueológica Imperial inició la documentación de los restos existentes del castillo en 1888.

Durante la Primera Guerra Mundial, los alemanes trajeron a sus especialistas, que hicieron varios intentos para restaurarlo.