Darnielle empezó a grabar su música en 1991 con el grabador de un boom box.
Hasta 2002, con el lanzamiento del álbum All Hail West Texas, The Mountain Goats son considerados lo-fi, pero actualmente todos los nuevos álbumes han sido grabados en un estudio profesional.
Darnielle empezó a tocar con el nombre The Mountain Goats (una referencia a la canción de Screamin' Jay Hawkins, que se llama "Yellow Coat") en 1991 in Claremont, California, donde asistía Pitzer College y trabajaba como enfermero psiquiátrico.
Darnielle lanzó su primer álbum, Taboo VI: The Homecoming, de Shrimper Records, en 1991.
Esta época fue marcada por las colaboraciones de Darnielle con otros músicos incluyendo Alastair Galbraith y Simon Joyner.