Fue fundado en el año 1930 en la ciudad de Železnik de la capital Belgrado bajo el nombre Železnik SK y en 1952 inició con actividades más serias.

En 1961 cambió su nombre por el nombre actual tras fusionarse con el FK Napredak y dos años después ya jugaba en el grupo norte de la Liga Serbia (tercera categoría).

Su etapa más exitosa ha sido luego de la separación de Yugoslavia en 1992, ya que para la temporada 1995/96 lograron el ascenso a la Primera Liga de Yugoslavia por primera vez en su historia.

[2]​[3]​ En junio del 2005 el club se vio forzado a abandonar la Copa de la UEFA 2005-06 por problemas financieros antes de fusionarse con el FK Voždovac para poder jugar en la Liga de Serbia y Montenegro.

[4]​ En la temporada siguiente el club fue refundado con el nombre Železnik Lavovi e inició operaciones en la Liga de Belgrado (quinta división), logrando ascensos consecutivos en los siguientes dos años hasta llegar a la Zone League para la temporada 2010/11 y ascender a la liga en la que se encuentran actualmente.