Anderson empezó a demostrar su fuerza desde temprana edad, y si bien sus demostraciones no fueron oficiales, Anderson apareció en el Libro Guinness de los récords por levantar 513 kg sobre la espalda.

En poco tiempo advirtió que era muy bueno en el levantamiento y dejó el fútbol.

En 1955, en plena Guerra fría, Anderson ganó el título mundial amateur de halterofilia y viajó a la Unión Soviética, donde la halterofilia era un deporte muy popular.

Sin embargo Anderson sería superado años más tarde por el soviético Yury Vlasov en los Juegos Olímpicos de Roma 1960.

Anderson se casó con Glenda Garnald en 1959 y tuvieron una hija, Paula, en 1966.