Los yamabushi comenzaron como yamahoshi, grupos aislados en la montaña de ermitaños, ascetas o hijiri (聖 “hombres santos”), quienes seguían el camino del shugendō, una búsqueda de las energías espirituales, místicas o sobrenaturales obtenidas a través del ascetismo.
Se desconoce el fundador de esta tradición, pero muchos son los mitos que señalan como tal a En no Gyoja.
Los hombres que siguieron este camino recibieron numerosos nombres, por ejemplo, kenja, kenza y shugenja.
Durante el período Nanboku-cho, en los siglos XIII y XIV, los yamabushi habían formado cohortes organizadas llamadas konsha.
Estas, junto con los sōhei y otros monjes, comenzaron a tomar la dirección desde los templos centrales de sus sectas.
Los verdaderos ascetas son todavía más raros, viven aislados en las montañas y apenas existe la posibilidad de acercase a ellos, por otra parte se desconoce su número.
Sin embargo, al igual que sucedía con los sōhei y los ikkō-ikki, el arma más utilizada por los yamabushi era la naginata.