Thomas College y en la Universidad de Minnesota jugando al fútbol en ambos centros.
Antes de hacerse actor, Richmond (entonces todavía llamado Fred Bowditch) fue vendedor cinematográfico.
En esa escena intervenía también la actriz Marion Burns, su esposa a partir de 1934, con la que tuvo dos hijos y con la que permaneció casado hasta el momento de su muerte.
Richmond actuó también en varias películas de Charlie Chan, y en 1940 hizo un importante papel secundario en Knute Rockne, All American, película protagonizada por Pat O'Brien, Gale Page y Ronald Reagan.
Tras esas películas su carrera empezó a declinar considerablemente, rodando únicamente tres cintas en 1947 y 1948.