Los miembros de la banda incluyen a Jesse Barnett (voz), Andrew Rose (bajo), George Schmitz (batería), Chris Rawson y Josh James (guitarras).

Su estilo causó una gran impresión a nivel local, lo que llevó al lanzamiento de su primer EP, Compassion Without Compromise, en 2004.

El álbum incluía una de sus canciones más conocidas en aquel momento, «This Is More», y su lanzamiento los hizo tomar mayor protagonismo, mientras que los miembros aún estaban en la escuela secundaria.

En ese año, la banda formó parte del Warped Tour, Hell on Earth y muchas otras giras.

[9]​ Más tarde ese año, Josh James confirmó que dejó Evergreen Terrace para convertirse en un miembro permanente de la banda.

[20]​ Se anunció que más tarde Stick to Your Guns lanzaría un EP ese mismo año.

[23]​ Stick to Your Guns se convirtió en la primera banda estadounidense en tocar un concierto en Kenia, un país del este de África.

[30]​ Stick to Your Guns encabezó el Pure Noise Tour en el verano de 2019 en América del Norte.

Counterparts, Terror, Year of the Knife y Sanction se unieron como apoyo para la gira también.

[31]​ Stick to Your Guns también apoyó a Knocked Loose en su Different Shade of Blue Tour.

[35]​ Las letras de la banda tratan temas que van desde la auto-reflexión hasta declaraciones políticas y sociales.

[36]​ Stick to Your Guns se identifica con la subcultura straight edge y George Schmitz una vez describió al grupo como "una banda straight edge secreta" porque se han centrado en varios otros temas a lo largo de su carrera en lugar de solo en este movimiento.