Nacido en Brooklyn, New York en 1920, Holzman jugó baloncesto en el Instituto Franklin K. Lane a mediados de los años 1930.

Asistió al Universidad de Baltimore, y más tarde a City College of New York, donde jugó dos años hasta su graduación en 1942.

Tras la Armada firmó por Rochester Royals de la NBL, ganando el campeonato en su primera temporada.

Se mantuvo en el equipo durante la mudanza a la NBA, y ganó el anillo en 1951.

Su sustituto fue Willis Reed, previamente entrenado por el propio Holzman, aunque éste regresaría al banquillo neoyorquino para la temporada 1978–1979.