Al cabo de tres años, lanzaron su segundo trabajo, Life, Love and Leaving Su estilo retro-garage rock se hizo muy popular en el Reino Unido, lo que atrajo la atención del sello Rough Trade Records.

[1]​ Publicaron un, Seven Easy Pieces, en 2003 y su tercer álbum, Baby, en 2004.

Baby incluyó por primera vez una canción original, "Hot Dog (Watch Me Eat)".

Generalmente siempre grababan con una formación diferente a la que salía de gira.

En abril de 2018, viajaron a Europa (por primera vez desde 2004) para tocar en dos festivales en Alemania y España, lo que llevó a una gira europea extendida en octubre y noviembre de 2019.