Más tarde, su familia se mudó a Takayama, donde comenzó el estilo de esgrima Nakanishi-ha Ittō-ryū.
Cuando tenía diecisiete años, regresó a Edo y se unió al Instituto Militar Kobukan del gobierno y a la Escuela de Lucha de Lanzas bajo Yamaoka Seizan.
Desde temprana edad, Yamaoka mostró dedicación y talento en la práctica de las artes marciales.
A medida que crecía, se hizo conocido por varias cosas: su esgrima, caligrafía, beber y dormir.
Más tarde, sirvió en la corte del emperador Meiji como chambelán y ayudante cercano.