En algún momento anterior al año 1900, decidió cambiar su apellido Torrance por Torrence, omitiendo el uso de Thomson.
Tanto Ernest como su hermano, el actor David Torrence, emigraron a los Estados Unidos en marzo de 1911, viajando directamente desde Escocia.
Ernest recibió positivas críticas por su trabajo en Die keusche Susanne en 1912, y llevó a cabo un destacado papel en The Night Boat en 1920, todo lo cual hizo los cineastas de Hollywood se interesaran por él.
Otras cintas destacadas en las que actuó fueron el aclamado western The Covered Wagon (1923), Nuestra Señora de París (1923, como Clopin, rey de los mendigos), Peter Pan (1924, como el Capitán Garfio), y The Side Show of Life (1924).
Otros clásicos mudos en los que actuó fueron The King of Kings (1927) y Steamboat Bill Jr.