Agar se educó en la Harvard School for Boys y en la Academia Lake Forest, en Chicago, y se graduó en la Pawling Preparatory School de Pawling, Nueva York.

Con su familia se mudó a Los Ángeles en 1942, tras la muerte de su padre.

Esta oportunidad la desperdició al empezar a frecuentar centros nocturnos y ser arrestado varias veces por conducir ebrio.

Pero el alcoholismo la terminó arruinando: lo relegó a producciones de bajo presupuesto.

Agar se volvió a casar en 1951 con la modelo Loretta Barnett Combs (1922 - 2000).