Yılmaz comenzó a jugar fútbol para Karayollari Yolspor en 1988, de modo amateur.

Su carrera profesional comenzó en İnegölspor cuando firmó para jugar en ese equipo en 1996.

Fue promovido a la selección mayor en 2003, pero no ha sido invocado desde el año 2004.

Tiene cinco goles en ocho partidos, así como un tercer puesto en la Copa FIFA Confederaciones 2003.

En semifinales con Francia, Yılmaz tuvo la oportunidad de igualar con un penal, pero lo erró, y, por lo tanto, Turquía perdió 3-2, y fue al partido para el tercer puesto.