El fundador del castillo era el Príncipe Mikolaj "el Negro" Radziwiłł.
El Castillo Olyka fue inmensamente influyente como la primera fortaleza cuadrada con baluartes en las esquinas y el prototipo de muchas de las estructuras similares que se encuentran en Europa del este.
Durante la invasión de Napoleón a Rusia fue un hospital militar y continuó en uso hasta 1837.
En 1883, una campaña de restauración se puso en marcha, pero no fue llevada a su conclusión hasta después de la Primera Guerra Mundial.
El palacio principal de tres plantas, aunque originalmente construida en el siglo XVI, es esencialmente el resultado de las renovaciones realizadas en los siglos XVII y XVIII.