La familia se trasladó de Podujevo a Basilea, Suiza, ese mismo año, donde nacieron Granit y su hermano mayor Taulant Xhaka.

Jugó en varios equipos juveniles del Basilea y desde 2008 formó parte de la selección sub-21.

El Mönchengladbach no ha revelado el precio del traspaso, pero se estima que ronda los 8,5 millones de euros.

[14]​ En su segunda temporada en el club, Xhaka fue titular en 29 ocasiones y disputó cinco partidos como suplente en el Gladbach, que terminó en la sexta posición de la Bundesliga 2014-15.

En el siguiente partido, contra el VfB Stuttgart, Xhaka volvió a ser el capitán del equipo y marcó un gol en la victoria por 3-1.

[18]​ Xhaka se estrenó con el Arsenal (como sustituto en el descanso) en la victoria por 2-1 contra el All-Stars de la MLS.

[21]​ Cuatro días después, volvería a marcar desde lejos, esta vez desde 30 metros en una derrota por 4-0 en la EFL Cup contra el Nottingham Forest.

[24]​ Tras su primer gol con el club en septiembre, no volvería a marcar en la Premier League hasta hacerlo en mayo, anotando el primer gol de la victoria por 2-0 ante el Manchester United, poniendo fin a la racha de 25 partidos consecutivos sin perder del United.

[27]​ Su primer gol de la temporada 2017-18 se produjo en el empate a tres con el Liverpool, Xhaka marcó un golazo desde 25 metros para que el Arsenal pasara del 2-1 al 2-2.

[30]​ En julio de 2023 regresó a Alemania tras ser traspasado al Bayer 04 Leverkusen y firmar un contrato por cinco temporadas.