Ingresó en el CalArts para estudiar Bellas Artes, pero se sintió insatisfecho por el planteamiento educativo de la facultad.

Allí conoció a John Maus, quien se convirtió en su mejor amigo y fueron compañeros de habitación.

[5]​ Tras abandonar CalArts, Rosenberg vivió en un áshram hindú (un monasterio) en Los Ángeles, donde consumió gran cantidad de drogas y hacía música con «bichos raros con los que nunca tuve problemas».

Sus actuaciones no fueron bien recibidas por el público: «Solían abuchearme sin ocultar siquiera su desprecio», aseguró Rosenberg en un entrevista para LA Weekly.

[8]​ En 2006, Rosenberg se embarcó con John Maus, Jimi Hey, Gary War y Geneva Jacuzzi en el proyecto Ariel Pink's Haunted Graffitti.