Ignatius College Preparatory, pasando más adelante a la Hotchkiss School en Connecticut, donde participó en producciones teatrales estudiantiles.

Su primera actuación teatral en el circuito de Broadway tuvo lugar en 1956 con la obra de Eugene O'Neill Largo viaje hacia la noche, interpretando a Edmund Tyrone y ganando un Premio Theatre World.

Dillman fue escogido para actuar en el melodrama A Certain Smile (1958), gracias al cual obtuvo un Globo de Oro.

Trabajó con Barbara Barrie en The Alfred Hitchcock Hour (episodio "Isabel", 1964) y con Peter Graves en Court Martial (1966).

En ese período actuó ocasionalmente en el cine, en filmes como A Rage to Live (1965), Sergeant Ryker (1968), y The Bridge at Remagen (1969).

Su última actuación conocida tuvo lugar en un episodio emitido en 1995 de Murder, She Wrote, una serie para la cual colaboró en ocho ocasiones.

El libro de Dillman sobre fútbol, Inside the New York Giants, fue publicacdo en 1995.

[7]​ Desde 1956 a 1962, Dillman estuvo casado con Frieda Harding, con la que tuvo dos hijos, Jeffrey y Pamela.