Tocaba el piano en la alineación original de The Rolling Stones, antecediendo a Mick Jagger, Keith Richards, Bill Wyman y Charlie Watts como miembro de la banda.

Debido a que al mánager del grupo, Andrew Loog Oldham, no le parecía bien que luciera con el grupo a efectos publicitarios, Stewart fue apartado como miembro oficial pero continuaría hasta su muerte como pianista y "road manager" de la banda, razón por la que es conocido como "el sexto Stone".

Su participación en directo empezó desde los inicios de la banda donde se lo puede ver en registros fotográficos tocando piano y maracas en presentaciones en el Marquee en 1963.

Su ingreso pleno como pianista empezaría en el US Tour 1978, donde acompañaría al organista y tecladista Ian McLagan.

Con Led Zeppelin: Con George Thorogood: Con Blues 'n' Trouble: Con Alexis Korner: Con Rocket 88