Las primeras fortificaciones conocidas en ese lugar fueron construidas en el madera por Gediminas, gran duque de Lituania.
El primer castillo construido en ladrillo se terminó en 1409, en época del gran duque Vitautas.
De dicha construcción se conservan algunos restos, que han sido restaurados recientemente.
La primera torre data del siglo XIV o XV, y poseía un piso más de altura.
[1] Después de estar infrautilizada durante mucho tiempo, sus muros comenzaron a colapsar y en el siglo XIX cayó su cuarta planta.