Jugaba de delantero centro, su primer equipo fue el FK Austria Viena y destacó sobre todo en su etapa en el Sevilla F. C. Desde 1973 hasta 1981 jugó en las categorías inferiores del Austria de Viena y un breve periodo militó en el SC Simmering.

En la temporada 86-87 era el máximo favorito para alcanzar la Bota de Oro pero irregularidades cometidas en la liga rumana permitieron que Rodion Cămătaru, quien supuestamente había anotado 20 goles en los últimos 6 partidos, le privara del premio durante 2 años.

[1]​ Finalizada la temporada 1987-88, Polster marchó a la Liga española para jugar exitosamente en el Sevilla FC.

En 1998 fichó por el Borussia Mönchengladbach y puso fin a su trayectoria como jugador en el SV Weiden 1914/75, club de su país.

Participó en dos fases finales de la Copa del Mundo, las que tuvieron lugar en Italia (1990) y Francia (1998), donde anotó un gol agónico en el último minuto frente a Camerún.