La banda fue formada en 2004 por Rory Attwell y Sam Mehran, a quienes luego se les unió Dev Hynes.
Desde entonces, el grupo se ha vuelto notable debido al éxito posterior de sus miembros.
Inicialmente, la banda se formó bajo el apodo de Balls con Ferry Gouw, quien poco después pasó a formar Semifinalists, efectivamente en el papel que finalmente ocupó Hynes.
Gouw dejó la banda para un viaje prolongado a Indonesia, momento en el que Attwell y Mehran reclutaron a Hynes y cambiaron el nombre de la banda a Test Icicles, el nuevo nombre de la banda también fue una sugerencia de Gouw.
[3] Hynes le rindió homenaje en Instagram y dijo: “Cada vez que estaba contigo volvíamos a tener 17 años.