York había estado en una banda con Josh y Zac Farro meses antes de que ambos conocieran a Hayley Williams.

[11]​ Ese mismo año, Paramore lanzó su segundo álbum Riot!, donde Taylor colaboró en la composición de la canción «That's What You Get».

[17]​ En 2008, junto a Josh Farro y Hayley Williams, Taylor compuso la canción «Decode»,[18]​ incluida en la banda sonora de la película Crepúsculo.

Durante la gira Brand New Eyes World Tour en Sudamérica, realizada entre febrero y marzo de 2011, Paramore contó con los músicos Josh Freese y Justin York para reemplazar a los Farro,[5]​ pero Taylor declaró que durante los ensayos ha tocado tanto la batería como la guitarra,[1]​ también agregando «No quiero ser el nuevo Josh, aunque ahora haga las cosas que él hizo anteriormente».

[24]​ Durante este tiempo, York apoyó la decisión de Hayley, asegurando que aún era su amigo sin importar si la banda dejase de existir, mientras tanto él seguía enviándole música que estaba creando para animar a Williams.

Taylor ha citado a MewithoutYou, Radiohead, Bon Iver, The Blood Brothers, Yann Tiersen, Bjork, Canon Blue, Sufjan Stevens y Emiliana Torrini como sus músicos y bandas favoritas.