Fue el principal cantante de la banda The Arrogant Sons of Bitches, del colectivo musical Bomb the Music Industry!
Tras la separación de Bomb the Music Industry!
Rosenstock comenzó su carrera en solitario en 2012 tras el lanzamiento de su mixtape I Look Like Shit dos meses después de que Bomb the Music Industry!
Rosenstock ha actuado con muchas otras bandas de ska y punk, incluyendo a Mustard Plug, The Bruce Lee Band y AJJ.
Algunas de sus influencias musicales incluyen a Tom Waits, Pulp y The Beach Boys.