¡Forward, Russia!

Su álbum debut, Give Me a Wall fue publicado en el 2006, hasta entonces, sus canciones las nombraban con números, conforme al orden en que eran escritas.[7]​ «Nineteen» fue publicado como el último sencillo de Give Me a Wall para promocionar la gira.La compilación también incluye canciones inéditas de Howling Bells y The Pidgeon Detectives.La banda grabó su nuevo material con el productor Matt Bayles en Seattle, Washington, Estados Unidos.Cabe mencionar que en la versión japonesa se incluyeron dos canciones extra: «Reflection Symmetry» y «Don't Be a Doctor».[10]​ Katie Nicholls se mudó a Nottingham para tomar un curso de arte, mientras que Woodhead ha trabajado como productor.[10]​ La música de la banda ha sido descrita como art rock, agit-punk contemporáneo y dance punk.De hecho, cuando Give Me a Wall fue publicado, la banda rápidamente fue comparada con Bloc Party, mientras que la NME los describió como un «sonido inglés peculiarmente parecido al emo».