Su verdadero nombre era George Richard Haydon, y nació en Londres, Inglaterra.
Haydn actuó en la serie The Twilight Zone, en el episodio "A Thing About Machines", con el papel de Mr.
Bartlett Finchley, un tecnófobo enfrentado con las máquinas de su hogar.
De todas sus actuaciones quizás la más aclamada fue la que llevó a cabo en el film musical basado en la obra de Richard Rodgers y Oscar Hammerstein II The Sound of Music (1965), interpretando a Max Detweiler.
Haydn fue también intérprete habitual del show radiofónico de George Burns y Gracie Allen.