Fue fundado en 1911, disputa sus partidos como local en el Omladinski stadion y juega en la Superliga de Serbia.
El club ha ganado la Liga yugoslava en cinco ocasiones, todas ellas en los años 1930, que son considerados como la época dorada del OFK.
En ese año el club había ganado la Copa de Yugoslavia, a la que siguieron otras tres en 1955, 1962 y 1966.
En ese momento, los jugadores jugaban un fútbol atractivo y ofensivo, por lo que les sirvió para ganarse el apodo de Romantičari (los "románticos").
El club volvió a disputar la Copa Intertoto en 2004 y debutaron en segunda ronda, eliminando fácilmente al Dinaburg.
Sin embargo, el equipo balcánico permitió tres goles en solo diez minutos, sufriendo una fuerte derrota por 5-1 y puso fin a su sueño europeo.
En el partido de ida disputado en el Ali Sami Yen, el equipo serbio logró un valioso empate a dos goles, tantos conseguidos por Miloš Krstić y Nenad Injac, que neutralizaron los dos primeros goles de Arda Turan.
Simo Krunić Milan Smiljanić Đorđe Ivelja Vlada Živanović Rade Grahovac