Ethel y su primo Richard Michael Collette Thomas (más tarde teniente coronel muerto en combate en 1944, en Francia) fueron criados juntos por sus abuelos, el mayor John Cyril Collette-Thomas y Jessie Maud Scott-Brown, en Bude, al norte de Cornwall.

Después de aparecer en pequeños papeles en películas británicas como The Best of Enemies (1961), Hot Enough for June (1964) y Where the Spies Are (1965), Harrison se fue a los Estados Unidos en 1965, trabajando como animador de clubes nocturnos en dichos lugares.

Gracias a sus managers Bob Chartoff e Irwin Winkler, quienes luego produjeron las películas de Rocky, logró alcanzar un récord en las listas .

En 1959 se casó con Sara Lee Eberts Tufnell, con quien tuvo tres hijos: Cathryn, Simon y Harriet.

El último matrimonio de Harrison fue en 1991 con Lori Chapman, con quien permaneció casado hasta su muerte en 2013.