Fundó la Chin Wu Asociación atlética de la Excelencia Marcial (精武体育会, 精武體育會, Jīngwǔ tǐyùhuì), en Shanghái en la cual todos los maestros de Kung Fu del país podían enseñar sin importar a qué estilos pertenecían.
Huo Yuanjia aprendió en secreto, espiando las clases que su padre daba a otros niños del pueblo.
Su fama comenzó tras vencer, en un combate celebrado en el parque Xiyuan de Tianjin en 1901, a un luchador ruso que había insultado abiertamente a los chinos llamándoles "los enclenques asiáticos" porque nadie aceptaba sus desafíos.
En 1909 viajó a Shanghái acompañado por su discípulo Liu Zhensheng para aceptar un desafío por parte de un boxeador británico llamado Hercules O´Brien.
O'Brien insistió en que se celebrara bajo las reglas del boxeo occidental, limitando los ataques a puñetazos por encima de la cintura.
A su muerte se hizo cargo de la asociación, que en la actualidad cuenta con 150 delegaciones por todo el mundo, su hermano menor Huo Yuanqing.
Sin embargo, Huo no vio ninguna mejora en su enfermedad, la cual llegó a ser incurable.