Su padre Alfred Gantner fue director de Brown Boveri y su esposa Marie (née Wächter) una comadrona.
En 1932 Joseph Gantner se casó con Maria Hanna Dreyfus.
[1] Los estudios de Gantner le llevaron a las universidades de Zúrich, Basilea, Ginebra y finalmente a Múnich, donde se doctoró en 1920 bajo Heinrich Wölfflin (1864-1945).
Fundó el Basler Beiträge zur Kunstgeschichte en 1943 y editó el Zeitschrift für Ästhetik und allgemeine Kunstwissenschaft de 1952 junto con Heinrich Lützler.
[2] Su retrato fue pintado por Augusto Giacometti, un primo segundo de Alberto Giacometti, y ahora está en posesión de su hija Vera.