El origen de Heaven & Hell se remonta a 1979, año en que Ozzy Osbourne es despedido de Black Sabbath y los miembros restantes; Tony Iommi, Geezer Butler y Bill Ward deciden reclutar a un nuevo vocalista.

Habiendo ganado una fama y reputación muy altas con Rainbow, los miembros de Black Sabbath deciden reclutar a Ronnie James Dio como su reemplazo, aprovechando que Dio también se había marchado de la mencionada agrupación en ese momento.

Mientras se encontraban en la gira de Heaven and Hell, el baterista Bill Ward se retira de la banda, por lo que fue reemplazado por Vinny Appice para los subsecuentes álbumes con Dio en adelante, habiendo grabado el exitoso álbum Mob Rules en 1982 y en ese mismo año el álbum en vivo Live Evil.

En 2006 los miembros se reunieron de nuevo para grabar tres pistas adicionales para el álbum recopilatorio "Black Sabbath: The Dio Years", fue entonces cuando decidieron hacer una gira juntos nuevamente, tocando los temas que grabaron cuando estaban en Black Sabbath aprovechando que el vocalista original y actual de la banda, Ozzy Osbourne, estaría ocupado girando con su agrupación que formó en solitario.

El nombre proviene del primer álbum que grabó la banda con Dio, tras su ingreso al grupo en 1979.