En el instituto formó su primera banda, Madisons, junto con algunos amigos, y que se acabó por fusionar con otra banda llamada Episode Six, el grupo en el que figuraba el posterior compañero de Glover en Deep Purple, el vocalista Ian Gillan.

Durante su estancia en Deep Purple grabó los discos más exitosos de la formación británica, entre los que se encuentran Deep Purple in Rock y Machine Head, antes de ser despedido por el guitarrista Ritchie Blackmore cuatro años después de su llegada.

Posteriormente, se dedicó a producir álbumes de Judas Priest, Nazareth, Rory Gallagher, Status Quo, Ian Gillan Band o Elf y publicar su propio material en solitario.

Desde 1984 pertenece de nuevo a Deep Purple después de su reformación ese mismo año y produjo los discos Perfect Strangers, The House of Blue Light, Slaves and Masters, The Battle Rages On... y Abandon.

Desde 2001 ha grabado nuevo material solista bajo el nombre de Roger Glover & The Guilty Party, con la cual ha editado los discos Snapshot en 2002, seguido por If Life Was Easy en 2011.