Al igual que Linkous, Lowery también se había trasladado recientemente a Richmond.
El título inusual del álbum provino de un sueño que tuvo Linkous - lo describió siendo "acerca del General Lee dejando detrás un submarino tosco en la Guerra Civil, y [en el sueño] podía escuchar una banda antigua tocando en su interior, todo distorsionado por el agua".
[8] Las primeras grabaciones que se hicieron bajo el nombre Sparklehorse ocurrieron cuándo Lowery viajó a un tour y dejó un compilado de ocho tracks en la casa de Linkous.
Vivadixie presentó una mezcla de canciones viejas que Linkous había escrito años antes de ("Someday I Will Treat You Good") y otras que fueron escritas horas antes de que fueran incluidas ("Cow" y "Weird Sisters").
Negándose a grabar un solo de guitarra para la canción, Linkous en cambio descubrió lo que quería para la sección media de la tonada cuándo llamó a su casa para comprobar sus mensajes.