El colectivo se fundó oficialmente en Denver, Colorado (pero instalado en Athens, Georgia) por un grupo de amigos formado por Robert Schneider, Bill Doss, Will Cullen Hart, y Jeff Mangum.De ahí surgen varias de las bandas centrales del colectivo: Doss y Hart forman The Olivia Tremor Control (por entonces llamada Synthetic Flying Machine); Mangum, Neutral Milk Hotel, y Schneider, The Apples in Stereo.Ahí formó The Apples in Stereo (por aquel entonces se denominaban simplemente The Apples) con los amigos que hizo en la ciudad y en 1993 publicaron el ep Tidal Wave, que se convierte en la primera referencia del sello.Entre las nuevas bandas se cuentan Beulah, Elf Power y The Music Tapes, entre otras.En 2007 The Apples in Stereo incluyen el logo de Elephant Six en la etiqueta interior de su álbum New Magnetic Wonder y anuncian que "Elephant 6 reabre sus puertas y ventanas, e invita a todo el mundo: juntaos con vuestros amigos y haced algo especial, significativo, algo que recordar cuando seáis ancianos".
Guitarrista John Fernandes de Elephant Six Recording Company en una de las mejores presentaciones de la banda en Arthurfest 2005.
