Junto con sus hermanos, Sebastian Danzig (guitarrista) y Emerson Barrett (baterista y pianista), formaron la banda en 2008 bajo el nombre de Kropp Circle, para después cambiarlo por Palaye Royale en el verano de 2011.
A pesar de su formación en piano y estudio en teoría musical, Remington no quería ser vocalista, pero terminó tomando el puesto ante la falta de uno.
Remington y Emerson tuvieron que alojarse en un hotel con sólo el dinero suficiente para permanecer allí durante 6 días y robando comida en el 7-Eleven que quedaba cruzando la calle.
Por suerte, al cuarto día fueron contratados por Sumerian Records.
El álbum contiene pistas como «Death Dance» y «I’ll Be Fine».