Banzan se dedicó principalmente a trabajar en la escuela Han (hankō) llamada Hanabatake Bokujō (花畠教場), que abrió sus puertas en 1641, convirtiéndola en una de las primeras del Japón.En 1647 Banzan se convirtió en ayudante militar, recibiendo el pago de 300 koku, y en 1649 viajó con Mitsumasa a Edo.Este fue el antecedente de la primera escuela para educar plebeyos, Shizutani Gakkō (閑谷学校), que abrió sus puertas en 1670, cuando Banzan terminó su servicio en ese dominio.En consecuencia Banzan no tuvo otra opción más que abandonar el castillo de Okayama y vivir escondido en Shigeyama-mura (蕃山村), en el distrito Wake (ahora Shigeyama, Bizen, Okayama.En 1667 escapó a Yoshinoyama, provincia de Yamato (ahora Yoshino, Nara).En 1691 el rebelde confuciano enfermó y falleció dentro del Castillo a la edad de 74 años.Banzan perteneció a aquella generación de pensadores de inicios del período Tokugawa quienes fueron los primeros en explorar seriamente la relevancia práctica en su propia sociedad del neoconfucianismo chino, como fue establecido durante las dinastías Song y Ming.Su pragmatismo puede verse en su firme posición anti doctrinaria y en su voluntad para adaptar a condiciones japonesas muchas instituciones convencionales confucianas chinas, como la sepultura de los muertos, los rituales de luto, etc.Este pragmatismo fue fundamentado por sofisticadas teorías de historia y geografía que relacionaban el temperamento nacional con el ambiente físico e histórico.Fue apoyada, entre otros, por Fujita Tōko y Yoshida Shōin, e influyó en gran medida a la caída del shogunato.Katsu Kaishū incluso se refirió a Banzan como "un héroe en ropaje confuciano".
