En 1942, empezó a salir con su vecina Norma Jeane Baker (nombre real de Marilyn Monroe) quien entonces tenía quince años.En 1944 se enroló en la Marina de los Estados Unidos, lo que lo llevó fuera del país a servir en el Pacífico Sur.En 1946 se divorciaron, pues la 20th Century Fox le exigió a Norma Jeane ser soltera para poder firmar el contrato.Tuvieron tres hijas: Cheryl Ann (1947), Vivian Kathleen (1950) y Maria Irene Dougherty (1952).En 1976, sin embargo, rompió el silencio con The Secret Happiness of Marilyn Monroe.
Dougherty y su primera esposa, la futura Marilyn Monroe, en 1943-1944.
