Nacido en Filadelfia, Pensilvania, sus padres eran Ruth Herzog e Israel Gabel, un joyero.
Gabel rodó algunas películas a lo largo de su carrera, usualmente interpretando pequeños papeles.
Un destacado papel fue el del jefe criminal Tomas Rienzi en el film de Richard Brooks Deadline - U.S.A.
También encarnó a un psiquiatra en la película de Billy Wilder Primera plana, protagonizada por Walter Matthau y Jack Lemmon.
Además, fue con frecuencia panelista invitado del popular concurso de la CBS What's My Line?, en el cual su esposa, Arlene Francis, actuaba regularmente.