Su novela autobiográfica Una muerte en la familia, aparecida en 1957, que ganó el premio Pulitzer en 1958, es considerada una obra maestra.

Cuando tenía 6 años perdió a su padre, en un accidente automovilístico, suceso que marcaría su vida.

Allí conoció, en 1919, al Padre Flye y su esposa que vivían en los terrenos del colegio y con los que mantendría su amistad hasta la muerte; la correspondencia entre ambos revela la complejidad vital de Agee: Letters of James Agee to Father Flye (1962).

A la vuelta, en otoño de 1925, entró en Phillips Exeter Academy, elitista internado en el estado de New Hampshire, donde fue nombrado, en 1927, editor del Exeter Monthly y presidente del Lantern Club (sociedad literaria).

En 1948 abandonó Time y escribió, bajo contrato con Huntington Hartford, guiones de películas basados en The Blue Hotel y The Bride Comes to Yellow Sky de Stephen Crane.

En 1954 escribió otro guion famoso, La noche del cazador, basado en la novela de Davis Grubb y que fue dirigida por Charles Laughton.

Fue llevada al teatro con éxito en 1960 y también se rodó una película (1963), ambas con el título de All the Way Home.