Fue fundado en 1906 como Srednjoškolski športski klub y se proclamó campeón de la liga yugoslava en dos ocasiones.
Para el final de la Primera Guerra Mundial, el equipo había jugado muchos partidos a nivel nacional como internacional.
[1] Aparte del fútbol, el club tenía secciones polideportivas como el atletismo, esquí, hockey y tenis de mesa.
Entre los futbolistas más importantes del club y que le convirtieron en dos veces campeón de la liga yugoslava figuran: Ivan Belošević, Zvonko Jazbec, Zvonko Monsider, Slavko Kodrnja y Karlo Muradori, entre otros.
El tercer uniforme del NK Zagreb es verde en honor al Concordia, cuyo estadio es utilizado por el equipo en la actualidad.