Siendo niño fue adoptado por Hayashi Dokai, un doctor que servía al shogunato Tokugawa, del cual recibió el apellido "Hayashi", aunque a veces era mencionado como Satō Tosaburo.

Entre 1866 y 1868 estudió en el Reino Unido junto con Kikuchi Dairoku en la University College School, al formar parte del grupo de catorce jóvenes estudiantes enviados por el Shogunato Tokugawa.

Regresó a Japón durante la Guerra Boshin en 1868 y se unió a los lealistas del shogunato dirigidos por Enomoto Takeaki, donde lo acompañó a Hokkaidō con los remanentes de la flota Tokugawa.

Hayashi fue capturado por las fuerzas imperiales en la Batalla de Acódate y fue encarcelado.

Poco después, fue asignado ministro residente ante la China de la Dinastía Qing en la delegación japonesa en Pekín; después fue ministro residente ante Rusia en San Petersburgo y por último como ministro residente ante Reino Unido en Londres.