El álbum fue grabado en junio con el compañero de banda de Animal Collective Josh Dibb (acreditado como Conrad Deaken) en Good House, una antigua iglesia en el norte del estado de Nueva York.
[8] Down There es un álbum más oscuro en comparación con otras contribuciones que ha hecho Portner.
Todo el álbum tiene una sensación "acuosa", casi como si la música se estuviera reproduciendo en un pantano.
Las dos pistas "Heather in the Hospital" y "Lucky 1", que aparecen hacia el final del disco, alguna vez se concibieron como una canción agrupada.
Portner luego decidió dividir las pistas en dos piezas separadas después de la grabación, obteniendo sus títulos separados.