Como futbolista, Gegić tuvo una carrera discreta y jugó en los equipos OFK Beograd y FK Mačva Šabac de la Primera Liga de Yugoslavia.
Su mayor éxito fue como entrenador del Partizan, donde llegó a la final de la Copa de Europa en 1966, donde cayó derrotado por 2-1 ante el Real Madrid.
Fue nombrado el segundo mejor entrenador de Europa por la revista France Football.
Posteriormente Gegić desarrolló toda su carrera como técnico en Turquía, donde adoptó la nacionalidad turca y comenzó a ser conocido por los locales como Abdullah Gegiç.
En el fútbol otomano dirigió al Eskişehirspor, Beşiktaş J.K.