Su sonido ha sido definido por el propio Gibb como Gay church folk music (Folk de iglesia gay) y se ha comparado a menudo con el de grupos como Belle and Sebastian o The Magnetic Fields.
Junto a esta última banda y otros artistas como Rufus Wainwright o Antony and the Johnsons, forman parte de una nueva generación de músicos surgida en el pop alternativo que tratan abiertamente la temática homosexual en sus canciones.
A pesar de este marcado carácter sexual, las canciones del grupo no son duras o sórdidas, sino que están planteadas desde un sentido del humor provocador y sin prejuicios.
Sus primeros conciertos los dieron en escenarios tan variados como iglesias, parques, galerías de arte o cabarets porno.
Su primer álbum, titulado The Smell of Our Own se publicó en 2003 en la discográfica independiente Rough Trade, y con él se convirtieron en la primera banda canadiense en fichar con el mítico sello británico.