Marc Dangora, de Mommy a Fly Flew Up My Pee Hole, se unió en 2004.
Anunciaron estar escribiendo nuevos temas que irían viendo la luz a lo largo del año.
El tour les llevó hasta Japón, donde actuaron con bandas como The Vandals y Voodoo Glow Skulls.
Ganaron el premio a banda del año de la revista Phoenix Magazine por Boys Like Girls.
Motown Classics salió en mayo, y la lista de canciones fue filtrada días antes del lanzamiento.
El álbum había sido producido por Chris Curran en los Webster Lake Studios de Boston, Massachusetts.
Otro tour desde mayo hasta julio fue llevado a csbo, esta vez Transit, Kid Liberty, y Such Gold.
En enero, fue anunciado que la banda llevaría a cabo proyectos con Such Gold que verían la luz el mes siguiente la discográfica No Sleep, aun así, esto no se llevó a cabo.
La banda hizo una visita al Reino Unido con This Time Next Year, y teloneando Set Your Goals en mayo.
La banda formó parte del 2011 Summer Partery Tour 2011 con In Fear and Faith, Vanna, Close to Home, Chunk!
La banda teloneó a Cruel Hand, con The Greenery and Maker, en el Back to School Jam tour en septiembre y octubre.
En septiembre, la portada y listado de canciones del álbum, bajo el nombre nuevo No Sanctuary, fueron revelados.
La ruptura EP con Such Gold era finalmente puesto en venta por en Mightier Than Sword/No Sleep en noviembre, e incluso tenía formato vinilo.
Su cuarto disco, Before It Caves, salió en octubre, y llegó al puesto 43 en la lista Heatseekers Albums.
También se lanzó una colección llamada Odds & Ends, a finales de 2017, formada por trece canciones que habían salido anteriormente, algunas demos de canciones y otras maquetas que aún no habían visto la luz.
El estilo musical de A Loss for Words ha sido descrito como pop punk.