Sometimes I Sit and Think, and Sometimes I Just Sit

[1]​ Después de participar con varias bandas en Melbourne, Barnett utilizó el dinero que había tomado prestado de su abuela, para iniciar su propio sello discográfico, que llamó Milk Records y que con este sello, lanzó dos EPs: I've Got a Friend Called Emily Ferris en 2012 y How to Carve a Carrot into a Rose en 2013.

[2]​ En 2013, relanzaría estos dos trabajos en solo material llamado The Double EP: A Sea of Split Peas for a release, en conjunto con el sello independiente Mom + Pop Music.

[4]​[5]​ La canción «Pedestrian at Best», fue escrita "a último minuto", y la versión grabada fue la primera vez que Barnett había cantado las palabras en voz alta.

Barnett dio a conocer el álbum en el año 2015 en el festival South by Southwest y luego se embarcó en una gira mundial que comenzó en París.

El músico y biógrafo del sitio web AllMusic, Stephen Thomas Erlewine, calificó al álbum como: vigorizante, diciendo que proporciona un "argumento convincente de que el rock & roll no necesita reinventarse para poder revivir en sí".