Fue parte de The Damned durante 1976 hasta 1984 donde se retiró por diferencias creativas con el resto del grupo.

", "Happy Talk", "One Christmas Catalogue" y "Glad It's All Over".

En 1981 participó en Diminished Responsibility, del grupo UK Subs en donde tocó los teclados.

En 1994 lanzó Live at the Milky Way, considerado el mejor trabajo de su carrera.

Burns también es parte del supergrupo inglés Dead Men Walking, junto a Mike Peters (de The Alarm), Kirk Brandon (de Spear of Destiny) y Slim Jim Phantom (de Stray Cats).