De padre galés y madre irlandesa se crio en Enfield, Middlesex.

Adquirió el apodo de "Tod" porque sus pies estaban doblados al nacer, lo que su padre resumió como "Toddle".

Pasó un período en las Fuerzas Armadas y luego asistió al Balliol College de Oxford, donde estudió filología inglesa y se convirtió en director musical de la Sociedad Dramática Universitaria.

También estudió en la prestigiosa Guildhall School of Music de Londres, donde su instrumento fue el contrabajo (además del trombón y el violín).

[1]​ Handley dirigió posteriormente esa obra en el primer concierto que dio en Londres, con la orquesta sinfónica del Morley College.

Handley y su orquesta también grabaron Intimations of Immortality de Gerald Finzi.

Dirigió la Filarmónica de Estrasburgo en una gira por el Reino Unido en 1982 que incluyó música francesa y rusa.

[3]​ También realizó la primera grabación oficial en gran parte completa del monumental Omar Khayyám de Bantock.

Handley grabó también las sinfonías de Elgar y Vaughan Williams con EMI.