Brimley nació en Salt Lake City (Utah), donde su padre trabajaba como corredor inmueble.
Brimley ha participado activamente visitando los hospitales y comunidades de la Veterans Administration para aconsejar a los pacientes sobre cómo manejar sus enfermedades.
[5] Brimley se hizo famoso más tarde en la vida por aparecer en películas tales como Hotel New Hampshire, The Thing de John Carpenter, y Cocoon.
Su primera caracterización fue en Absence of Malice, en la que interpretó un papel pequeño pero clave como James A. Wells.
[6] Beresford sentía que Brimley era demasiado viejo para el papel, pero finalmente accedió al reparto.