[1]​ La banda se originó de una amistad entre la guitarrista y cantante de Vivian Girls, Cassie Ramone y el bajista de Woods, Kevin Morby.

[2]​ Ambos compartían un apartamento y escribieron canciones, aunque nada surgió hasta que se volvieron a encontrar más tarde en una fiesta en Brooklyn.

[3]​ Con la integración de Justin Sullivan en la batería y el bajista Nathanael Stark,[4]​[5]​ el cuarteto comenzó a tocar shows en 2009 en clubes DIY de Nueva York y lanzando cintas hechas por ellos y sencillos por los pequeños sellos Wild World y Make a Mess, antes de lanzar su álbum debut autotitulado por Shrimper en febrero de 2011.

[6]​ La banda se fue de gira por mucho del año, eventualmente reemplazando a Stark con un nuevo bajista, Brian Schleyer.

[7]​ Our House on the Hill, fue lanzado en Woodsist a fines de ese año.