Inicialmente Joseph trabajó como maestro, como su padre, siendo entre 1897 y 1904 profesor de magisterio en Lauingen.Concluyó estos estudios en 1909 y en 1911 se matriculó en composición en el conservatorio de Stuttgart, donde en 1916 fue nombrado profesor.En 1921, junto a Paul Hindemith y Heinrich Burkard fundó el festival Donaueschinger Musiktage.Dentro de su labor como reconocido pedagogo, entre sus alumnos hay decenas de reconocidas figuras musicales, como Theodor Pröpper (1896–1979), Otto Jochum (1898–1969), Karl Gustav Fellerer (1902–1984), Eugen Jochum (1902–1987), Heinrich Simbriger (1903–1976), Karl Amadeus Hartmann (1905–1963), Karl Höller (1907–1987), Philipp Mohler (1908–1982), Cesar Bresgen (1913–1988), Ernst Kutzer (1918–2008), Rudolf Mors (1920–1988), Wolfgang Sawallisch (1923–2013), Hans Walter Kämpfel (1924–2016) y Theo Brand (1925–2016).Su amigo Rupert Egenberger fundó en 1949 la “Sociedad Joseph Haas en honor a su música y su persona.