Baxter se formó en 1995 en Chicago, Illinois y comenzó tocando en la zona para público muy reducido.

Lanzaron su primer disco, Troy's Bucket, de forma independiente logrando cierto nombre en la escena underground de la ciudad.

En 1996, firmaron contrato con el sello independiente Static Station.

En 1997 lanzaron Lost Voices en 7", para cuando ya tenía un nombre en la escena local.

En 2003, Will Not Clear Man Records lanzó Baxter, un álbum recopilatorio con canciones conocidas y varias inéditas y demos.