Pese a que habitualmente se les asocia con músicos de harsh noise como Merzbow y Masonna, The Gerogerigegege también lanzó álbumes de rock más tradicional (en Sexual Behaviour in the Human Male), noise (en 45RPM Performance) y ambient (en Endless Humiliation y None Friendly), sumados a sencillos en que estos estilos se fusionan.

El álbum más conocido de la banda es Tokyo Anal Dynamite, lanzado en 1990.

En su trayectoria, The Gerogerigegege tuvo numerosos integrantes, siendo el único miembro constante su fundador, Juntaro Yamanouchi.

La banda también publicó obras conceptuales y no musicales, como This Is Shaking Box Music, Part 2, consistente en una copia en casete destruida del EP Mother Fellatio.

The Gerogerigegege han estado inactivos desde la súbita desaparición de Juntaro Yamanouchi pasado su álbum Saturday Night Big Cock Salaryman lanzado en 2001.