La primera vez que todas las fortalezas fueron capturadas se produjo en 1655 durante la batalla de Vilna.[3] Poco después, los castillos perdieron su relevancia tras sufrir grandes daños y muchos se abandonaron.[7] La Lituania pagana se enfrentó a las órdenes cristianas durante más de dos décadas;[8] estas órdenes buscaban conquistar Lituania, cuya motivación era la conversión de los lituanos paganos al catolicismo.El complejo de castillos fue atacado por la Orden teutónica en 1365, 1375, 1377, 1383, 1390, 1392 y 1402, aunque nunca se capturó completamente.El Antiguo Arsenal fue establecido en el siglo XV, durante el mandato de Vitautas el Grande, aunque fue ampliado por Segismundo el Viejo y los trabajos continuaron durante el reinado de su hijo Segismundo II Augusto.contemporáneas, el Antiguo Arsenal en esa época albergó en torno a 180 cañones pesados.
