Sylla empezó su carrera con el equipo local del Hafia Conakry.
Debido a su habilidad como goleador, sobre todo en la liga gabonesa con USM Libreville, fue fichado por el Willem II.
Fue el primer jugador guineano en jugar en la liga holandesa y estuvo allí seis temporadas antes de jugar en la liga francesa, escocesa y griega.
Pasaron a la historia los dos goles que marcó con el Willem II en el campo del FC Twente jugado en medio de la nieve.
[2] Su hijo Abdoul Karim Sylla también es futbolista profesional.