Todos excepto Bauer fueron a Saint Albans, un colegio en Washington D. C..
El álbum debut Everyone Who Pretended to Like Me Is Gone, lanzado por la marca discográfica independiente Startime fue bien recibido por la crítica.
En el mismo año ellos lanzaron otro álbum completo Pussy Cats Staming the Walkmen un disco totalmente dedicado al disco del mismo nombre Pussy Cats 1974 de Harry Nilsson y John Lennon grabado como para su estudio en Harlem.
You & Me se convirtió en su siguiente trabajo, disponible desde julio de 2008 en una exclusiva preventa de caridad en el sitio web Amie Street.
Su último álbum se llama Lisbon, disponible desde el 14 de septiembre de 2010, denominado así en homenaje a la capital portuguesa en la que recalaron en su última gira.