Gran parte de su carrera deportiva la desenvolvió en el Estrella Roja de Belgrado, trabajando primero con las categorías inferiores entre los años 1952 y 1957, pasando posteriormente al primer equipo.

En el año 1974 dirige al Sport Lisboa e Benfica con el que gana la liga portuguesa.

[2]​ Tras su experiencia en Portugal, regresa a la liga española para ascender al Club Deportivo Málaga a Primera División, pero es destituido en la temporada siguiente por los malos resultados.

[3]​ El primer año de Pavić en Vigo el Celta se proclamó campeón de la Segunda División B ascendiendo rápidamente, al año siguiente repitió la buena actuación en la Segunda División consiguiendo el ascenso a la máxima categoría a falta de tres partidos para el final de la temporada.

[4]​ Ya en Primera División una serie de problemas económicos y deportivos hicieron que el Celta volviese a descender al año siguiente, lo que hizo que tras tres temporadas en el Celta el entrenador balcánico dejase el club y fichase en 1983 por el Real Club Deportivo Español, equipo en el que estuvo hasta el año siguiente.