Fue el hijo menor del Dr. Frank Jerome Tone, presidente de la Carborundum Company, y su esposa, Gertrude Van Vrancken Franchot.

Posteriormente fue miembro fundador del colectivo teatral Group Theatre, junto a Harold Clurman, Cheryl Crawford, Lee Strasberg, Stella Adler, Clifford Odets, y otros, muchos de los cuales habían trabajado con el Theatre Guild.

A menudo daba apoyo financiero al Group Theatre, necesitado con frecuencia del mismo.

Consiguió la fama en 1933, rodando siete películas ese año, incluyendo Today We Live, escrita por William Faulkner, y donde conoció a su futura esposa Joan Crawford, Bombshell, con Jean Harlow (con la que trabajó en otras tres películas), y el exitazo Dancing Lady, otra vez con Crawford, además de con Clark Gable.

En 1935, probablemente su mejor año, trabajó en Mutiny on the Bounty (Rebelión a bordo) (para la cual fue nominado al Oscar al mejor actor), The Lives of a Bengal Lancer (Tres lanceros bengalíes) y Dangerous, con Bette Davis, con la que se rumoreaba que tenía una aventura.

Una excepción fue Five Graves to Cairo (1943), tercer film del joven Billy Wilder, una historia de espionaje durante la Segunda Guerra Mundial, protagonizada por Tone, Anne Baxter, Akim Tamiroff y Erich von Stroheim en el papel del Mariscal de Campo alemán Erwin Rommel.