Se convirtió en actor en 1913, haciendo una gira con la Shakespeare Company de Charles Coburn.

Sólo en 1939 disfrutaría de papeles clave en cinco clásicos del cine: La diligencia, Caballero sin espada, Only Angels Have Wings (Sólo los ángeles tienen alas), The Hunchback of Notre Dame (Esmeralda, la zíngara), y Lo que el viento se llevó.

Aunque posiblemente sea más recordado como el padre de Scarlett O'Hara en Lo que el viento se llevó, fue su actuación como el borrachín Doc Boone en La diligencia, junto a John Wayne, la que dio a Mitchell el Óscar al mejor actor de reparto.

Fue el primer actor que consiguió la "triple corona" de la actuación (un premio Óscar, un Emmy y un Tony).

Durante los años cincuenta e inicios de los sesenta, Mitchell trabajó mucho en la televisión.

Fue incinerado y sus cenizas se conservan en el crematorio Chapel of the Pines en Los Ángeles.