Los miembros originales fueron Trish Keenan (cantante), Roj Stevens (teclado), Tim Felton (guitarra), James Cargill (bajo), y varios baterías que pasaron por la formación, como Keith York, Phil Jenkins, Jeremy Barnes, Steve Perkins y Neil Bullock.

En el año 2005, la banda estuvo compuesta por Keenan y Cagill, después de que Felton dejara el grupo para formar un nuevo proyecto, Seeland, con Billy Bainbridge, quien formó el grupo Plone, también de Birmingham, en el sello Warp.

Los primeros trabajos de la banda fueron sencillos editados en Wurlitzer Jukebox Records ("Accidentals") y Duophonic records ("The book lovers") a mediados de los 90.

Además, su canción "Before we begin" fue usada en la cuarta temporada de la serie americana The L word, y "The book lovers" apareció en la banda sonora de la película "Austin powers".

A finales de 2009 publicaron un miniálbum experimental junto a The Focus Group, alias del diseñador gráfico Julian House, al que titularon Investigate Witch Cults Of The Radio Age.