Se formó en la escuela "Kirana Gharana" fundada por Sawai Gandharva, junto con su primo Abdul Waheed Khan, uno de los más destacados de la música clásica indostánica, y especialmente conocidos por la práctica del género khyal.

En 1936, Rambhau Kundgolkar, conocido como Sawai Gandharva de, decidió enseñar a Bhimsen Joshi música indostánica entre 1936 y 1940.

Esto lo dejó y se impuso estrictamente durante 16 horas diarias en el Riyaz (práctica musical).

Bhimsen Joshi por primera vez realizó un concierto a la edad de 19 años de edad, luego lanzó su primer álbum un año después, hizo unas cuantas canciones devocionales en Canarés y en hindi.

Joshi enseñó a numerosos estudiantes, varios de los cuales tuvieron éxito comercial.