[4] Algunas pistas en An Empty Bliss aparecen dos veces, pero se muestrean de manera diferente, como la pista «An Empty Bliss Beyond This World» y «Mental Caverns Without Sunshine».
[5][6] Kirby explicó que esto se hizo para darle una sensación de déjà vu al álbum: «Inmediatamente después de escucharla por primera vez, ya estás cuestionando dónde has escuchado esta canción antes».
La segunda versión de «Mental Caverns Without Sunshine» solo dura la mitad que la primera.
An Empty Bliss tiene temas retrofuturistas de disputas entre el pasado lejano y el futuro imaginado, similar a Into Outer Space with Lucia Pamela (1969).
Savage etiquetó el álbum como un comentario sobre la música moderna que «coloniza» y «dehistoriciza» las obras del pasado.
Los discos permanecieron sin usar durante un tiempo, hasta que estuvo en un apartamento en Berlín, donde pasó alrededor de un mes grabándolos en un tocadiscos roto.
Luego transfirió las grabaciones a un grabador digital que obtuvo mientras vacacionaba en España durante las erupciones del Eyjafjallajökull en 2010.