La prestigiosa carrera de Baker en el mundo de la música, punk sobre todo, comienza en 1980, cuando los jóvenes Ian MacKaye y Jeff Nelson (fundadores también del sello Dischord) forman la histórica banda Minor Threat junto a Baker y el guitarrista Lyle Preslar.

En 1982 entra en la banda el bajista Steve Hansgen, lo cual provoca que Baker se cambie a la guitarra, donde estaría apenas un par de años.

Preslar, en cambio, si tuvo una participación activa grabando varios discos.

En 1985 funda la banda de hardcore Dag Nasty, donde tocó hasta 2002, fecha en que la banda decidió reunirse tras una ruptura y grabar un disco de despedida, Minority of One.

Baker ingresó en 1994 en Bad Religion, para suplir la marcha de Mr.