Tras una fallida carrera académica en Oxford y Londres, Heseltine se inclinó por el periodismo musical, mientras desarrollaba un interés especial por las canciones populares isabelinas.
En 1916 comenzó la influencia en su trabajo del compositor neerlandés Bernard van Dieren además de ganar ímpetu creativo tras un año en Irlanda estudiando la cultura celta.
Poco después empezó en esa década su periodo más prolífico como compositor mientras vivía en Gales y Eynsford (Kent).
Con sus críticas, publicadas bajo su nombre real, Heseltine tuvo una contribución pionera al estudio de la música.
Murió en su piso en Londres por un envenenamiento con gas de alumbrado, probablemente en un acto suicida.