El colectivo se fundó oficialmente en Denver, Colorado (pero instalado en Athens, Georgia) por un grupo de amigos formado por Robert Schneider, Bill Doss, Will Cullen Hart, y Jeff Mangum.
De ahí surgen varias de las bandas centrales del colectivo: Doss y Hart forman The Olivia Tremor Control (por entonces llamada Synthetic Flying Machine); Mangum, Neutral Milk Hotel, y Schneider, The Apples in Stereo.
Ahí formó The Apples in Stereo (por aquel entonces se denominaban simplemente The Apples) con los amigos que hizo en la ciudad y en 1993 publicaron el ep Tidal Wave, que se convierte en la primera referencia del sello.
Entre las nuevas bandas se cuentan Beulah, Elf Power y The Music Tapes, entre otras.
En 2007 The Apples in Stereo incluyen el logo de Elephant Six en la etiqueta interior de su álbum New Magnetic Wonder y anuncian que "Elephant 6 reabre sus puertas y ventanas, e invita a todo el mundo: juntaos con vuestros amigos y haced algo especial, significativo, algo que recordar cuando seáis ancianos".