Quiso hacer carrera musical y su madre lo apoyó desde el principio, pero no así su padre.
Entre 1929 y 1933, Schmidt cantó en más de 37 óperas para Radio Berlín, llegando a ser conocido como "el tenor del pueblo".
Gracias a su éxito debutó en el teatro con La bohème en 1939 y filmó varias películas.
Cuando en 1942 toda Francia fue ocupada por el ejército nazi, se fugó a Suiza.
Alfred A. Fassbind: Joseph Schmidt – Sein Lied ging um die Welt, Römerhof-Verlag, Zürich 2012, ISBN 978-3-905894-14-1, dazu: 1 Beilage-CD, St.