Con 16 años, Cabaye comenzó a jugar en las categorías inferiores del RC Lens, pero una doble lesión en las piernas rompieron su trayectoria en dicho club.

Su equipo logró terminar en lo alto de la competición, clasificándose para la UEFA Champions League.

La 2006-07 estaría marcada por las lesiones para Cabaye, que solo pudo jugar 5 partidos en los primeros tres meses de competición.

No volvió a jugar el resto de temporada, y el equipo fracasó en alcanzar posiciones europeas por primera vez en 3 años.

Tras el final de la exitosa temporada 2010-11, el mánager del Lille confirmó que Cabaye iba a fichar por el Newcastle United inglés.

Cabaye afirmó: "He pasado grandes momentos en el Lille, pero ahora deseo probarme contra los mejores y jugar para el Newcastle de la Premier League me permite justo eso".

[12]​ Cabaye rápidamente se convirtió en el primer cobrador de penaltis del club, y anotó tres penaltis en tres partidos consecutivos contra Watford,[13]​ West Bromwich Albion[14]​ y West Ham United.

El 30 de abril, en su regreso a St James' Park, su penalti fue atajado por Karl Darlow, en una eventual derrota 1–0.

[24]​ Hizo su debut con la selección absoluta en el partido cuando entró de cambió por Yann M'Vila.

[27]​ Cabaye comenzó el partido, el cual terminó en un empate 1-1, y fue reemplazado por Hatem Ben Arfa en el minuto 84.