Thain nació en la ciudad neozelandesa de Christchurch, en la Isla Sur.
[1] Hacia 1967, se une a la banda New Nadir, y luego pasa a formar parte de la Keef Hartley Band, proyecto blues rock del baterista Keef Hartley, con quienes graba seis álbumes, entre 1969 y 1972.
En 1972, es convocado para tocar en Uriah Heep, con quienes graba un primer disco, Demons and Wizards, mientras que a fines de ese mismo año aparece The Magician's Birthday, segundo álbum de Gary con la banda, seguidos de Sweet Freedom (1973) y Wonderworld (1974); trabajos que vendrían a marcar el máximo apogeo de Uriah Heep como grupo.
Del mismo modo, Thain colaboró con diversos artistas como Champion Jack Dupree, Martha Velez, Miller Anderson o Pete York Percussion Band, y en 1973 colaboró con su compañero en Uriah Heep, Ken Hensley, para el primer disco en solitario de éste, Proud Words on a Dusty Shelf.
En septiembre de 1974, durante un show en Dallas, Texas, Thain recibió un choque eléctrico, del cual nunca se recobró completamente.