[1]​ Nacido en Múnich, pero originario de Arilje, Serbia Central, sus padres se trasladaron a Alemania.

Empezó a jugar fútbol cuando tenía 6 años en el club local Helios Daglfing cercano a la casa de la familia en Múnich.

Más tarde se unió al equipo sub-12 del Bayern de Múnich, pasando posteriormente por todas las categorías juveniles del club.

Bundesliga, al reemplazar a Arturo Vidal en el 92', en la victoria 0:1 del Bayern de Múnich ante el Werder Bremen.

Pantović se convertiría en el primer jugador serbio que juega en el club alemán desde el último cuarto de siglo (Desde que lo hiciera Radmilo Mihajlović, 1989-1990).