Tras iniciarse en las filas del RWD Molenbeek, Van der Elst llegó en 1984 al Club Brugge KV, donde desarrollaría la mayor parte de su carrera.
Coincidió con varios jugadores como Lorenzo Staelens, el senegalés Tew Mamadou, Antoine Coly, Gino Maes y Leo van der Elst.
Además, fue nombrado en dos ocasiones Mejor Jugador belga del año, en 1990 y 1996.
En 1999, dejó el fútbol para dedicarse a la carrera de entrenador, carrera que inició en 2002, entrenando al KFC Germinal Beerschot, y luego entrenó al Lokeren, hasta el año 2006.
Con la Selección absoluta de Bélgica ha sido internacional en 86 ocasiones.