Karen O y Nick Zinner formaron un dúo acústico llamado "Unitard" pero decidieron tomar un camino más punk por la escena que sucedió en ese tiempo en Ohio.

Y, fue a principios del 2002, que la banda entró en mundos internacionales, apareciendo en South by Southwest, recorriendo los Estados Unidos y Europa e interpretando su propia gira por el Reino Unido.

Su tercer sencillo, "Maps", se reprodujo de manera brutal por toda la radio alternativa internacional.

En el 2004, la banda lanzó su primer DVD Tell Me What Rockers to Swallow.

El DVD, incluye un concierto grabado en The Fillmore en San Francisco, todos los vídeos de la banda y varias entrevistas.

Se ha señalado que "Gold Lion" suena muy similar a "No New Tale To Tell", de la banda alternativa Love and Rockets.

Tres de las cinco canciones, formaron parte del DVD Tell Me What Rockers to Swallow.

El siguiente álbum del trío Neoyorquino, fue lanzado en abril de 2009 y lleva por nombre It's Blitz!.

El DVD, solo se pudo adquirir por iTunes y a las pocas horas ya estaba agotado.