Recordado por sus trabajos religiosos, más tarde considerados himnos y villancicos.

Bajo su tutela, viajó a Varsovia donde fue nombrado secretario del Príncipe Adam Kazimierz Czartoryski.

Allí escribió algunos de sus trabajos más conocidos, como "Bóg się rodzi, moc truchleje" ("Dios ha nacido, el poder tiembla") y "Kiedy ranne wstają zorze" ("Cuando las luces de la mañana se levantan").

[3]​ Algunos especulan que él nombró a todas sus amantes Justina, y que al menos se refería a tres mujeres distintas con este mismo nombre.

En 1818, se retiró a una casa solariega cerca de Vawkavysk (ahora en Bielorrusia), dónde escribió sus memorias.