La banda se formó a Melbourne en los primeros años noventa, por iniciativa de tres excompañeros de instituto,[1] el guitarrista Marty Donald, el cantante y baterista Tales White, y el bajista Mark Monnone, todos unidos por su pasión por el grupo británico The Smiths, al que rinden homenje en su nombre.
Sus siguientes lanzamientos, The Green Bicycle Case de 1995 y What Bird Is That?
Durante este periodo White simultaneó su actividad con la banda con un proyecto paralelo llamado The Guild League con el cual publicó dos álbumes.
En 2004 la banda acogió un cuarto componente, el guitarrista Louis Richter con el cual grabaron el noveno álbum de estudio: Warmer Corners.
La última gira de la banda está documentada en el DVD Unfamiliar Stars, publicado en 2011 por Matinèe.