Ha trabajado extensamente como músico de sesión, interpretando para artistas como Roger Waters, Steven Wilson, Keith Emerson, Ken Hensley, Carl Palmer y John Wetton.
[3] En 1996 grabó el álbum de guitarra clásica Playing with Fire con Fraser T Smith[3] y en 2004 lo relanzó.
En 2007 publicó el álbum en solitario Scarlet con la ayuda del baterista Pete Riley y el bajista Phil Williams quienes lo acompañaban en Keith Emerson Band.
[7] En 2012 fue relanzado como Scarlet - The Director's Cut con el productor Jamie Humphries, debido a la inconformidad del sonido original.
[6] Kilminster participó en el concierto benéfico por el huracán Sandy, a fines de 2012 en el Madison Square Garden.