Junto con el exguitarrista del grupo, Ryan Ross, fundó también la banda The Young Veins, de la que fue guitarrista y vocalista.

at the Disco en mayo de 2006 como reemplazo del bajista Brent Wilson,[2]​[3]​ y estuvo presente con Panic!

Según Ross, él y Walker estaban tratando de lanzar un nuevo sencillo titulado, "Change".

[4]​ El 16 de octubre Ross reveló que el lanzamiento de su primer disco se retrasaría hasta que encontrasen una compañía discográfica dispuesta a auspiciarlo.

at the Disco, Brendon Urie, Spencer Smith y Ryan Ross en el vídeo musical de la canción «Clothes Off!

Los cuatro también aparecieron en el video musical de la canción «One of THOSE Nights», junto con los miembros de Fall Out Boy Patrick Stump y Pete Wentz.