El guitarrista Dean Wareham, el baterista Damon Krukowski y la bajista Naomi Yang se habían conocido en la Dalton School, en Nueva York, pero comenzaron a tocar juntos en su tiempo como estudiantes en la Universidad de Harvard.

En 1989 firmaron con Rough Trade, y editaron su segundo álbum, On Fire, que es considerado el momento definitorio de la banda.

On Fire llegó al número 7 en la lista indie del Reino Unido, y recibió críticas muy favorables en dicho país.

Sin embargo, no fue tan bien recibido por la prensa estadounidense, que citaba las limitaciones vocales de Wareham como una debilidad.

El grupo se disolvió en la primavera de 1991 después de editar su tercer álbum, This Is Our Music, y habiendo dejado Wareham el grupo tras una larga gira americana.