Barnes reclutó a Jamey Huggins y Dottie Alexander, quienes tocaban juntos bajo el nombre de Lightning Bug vs.
Tras el lanzamiento de The Gay Parade la banda se incorpora al sello Kindercore Records, donde lanzaron algunos singles y compilados.
En 2002 se publica Aldhils Arboretum, álbum que tiene un sonido ligeramente diferente al de sus predecesores.
Barnes, incómodo con el resto y con las divisiones dentro de la banda, se hace cargo él solo principalmente de la composición del álbum del 2004 Satanic Panic in the Attic.
Hacia el 2005 su estilo continuó su evolución con The Sunlandic Twins, que fue incluso más representativo del esfuerzo solista de Barnes.
El álbum llegó a ser todo un suceso, en parte gracias al sencillo So Begins Our Alabee y al videoclip de Wraith Pinned to the Mist (and Other Games) que rotaba en la programación de MTV.
Estos álbumes contienen letras más narrativas, imitando a menudo al estilo del radioteatro de la década del 50, en oposición a los álbumes que les preceden que optaban por letras más personales.
Otras son extractos de conversaciones ficticias (Advine From a Divorced Gentleman to His Bachelor Friend Considering Marriage y Good Morning Mr.
Otro rasgo distintivo del grupo es su capacidad para fusionar letras obscuras con ritmos melódicos y alegres.