Ambas canciones fueron trasladadas a la reencarnación de la banda New Order.
New Order lanzó la canción como sencillo dos veces, en primer lugar, en marzo de 1981 y en segundo lugar en septiembre de 1981 con su nueva integrante Gillian Gilbert.
Su primer lanzamiento fue una regrabación de "Ceremony" como un stand-alone respaldado con "In a Lonely Place", con el guitarrista Bernard Sumner haciéndose cargo de la voz principal.
La canción no contiene los teclados, que se convirtió en un elemento básico común en sonido después de Joy Division, y el eventual sonido de New Order.
"Ceremony" utiliza la dinámica de tranquilas en voz alta y reverberación artificial para dar a la canción un ambiente que fluye de la marca.