También toca la guitarra en el álbum In the Mushroom junto a Lid.

Su madre, Helen Cavanagh (1948-1999), solía cantar junto a su tía canciones de góspel y soul, además de tocar el piano, lo que fue una gran influencia para los hermanos y para Danny mismo.

Con solo 12 años ya se destacaba en la guitarra, que fue su primer instrumento, a pesar de saber algunos acordes en el piano.

Junto a sus hermanos, entonces forma lo que concluyó llamarse Pagan Angel, una banda de death/doom metal formada por él en la guitarra líder, Vincent Cavanagh en la guitarra rítmica, Jamie Cavanagh en las voces y el bajo, y John Douglas en batería; con dicha banda tocaron varios pequeños Pub del sur de la ciudad de Liverpool (U.K) y en fiestas de amigos y parientes.

Luego aparecería en la historia el gran Duncan Patterson, quien se encargó del bajo de Anathema desde 1990 hasta su partida en 1998.