En el ejército trabajó como técnico médico en Birmania, mientras que se adjunta a las tropas chinas de Chiang Kai-shek luchando en la segunda guerra sino-japonesa contra los japoneses.
Karsh le dio la experiencia valiosa que fotografía personalidades públicas como Albert Einstein, Harry Truman y Martha Graham.
Trabajaba como free-lance para varias revistas, pasaba sus noches en los clubs de jazz Royal Roost y Birdland, donde fotografió a músicos de jazz como Gordon Diestro, Charlie Parker, Dizzy Gillespie, Billie Vacaciones, Duque Ellington, Miles Davis y otros.
También fotografió a muchos artistas franceses de grabación para Barclay Records, incluyendo Dalida, Charles Aznavour, Léo Ferré, Henri Salvador, Jacques Brel, Jean Ferrat, Les Chaussettes Noires, Eddy Mitchell, y Johnny Hallyday.
La BBC produjo una película, (2011) "Saving Jazz", sobre las luchas de Herman Leonard tras el desastre del huracán Katrina en Nueva Orleans.
Trabajaba en gran formato, con una cámara Speed Graphic 4x5” y 2 flashes muy modernos, pero este equipo muy pesado le limitaba a disparar 10 o menos placas por noche.
Con esta técnica lograba un dramático efecto de iluminación que a menudo se veía reforzada por el humo espeso en los clubes.