Nacido en el barrio de Brooklyn, Nueva York, su nombre completo era Herbert Edelman.

Edelman retomó el papel en la adaptación al cine, Descalzos por el parque, que protagonizaron Robert Redford y Jane Fonda.

Igualmente actuó en una entrega de la serie cinematográfica japonesa Otoko wa Tsurai yo en 1979.

Sin embargo, fue sobre todo conocido por sus tres décadas actuando en la televisión, usualmente como coprotagonista, personaje recurrente o como estrella invitada en series como The Golden Girls, That Girl, Love, American Style, The Streets of San Francisco, Maude, Cannon, Welcome Back, Kotter, Kojak, La isla de la fantasía, Cagney & Lacey, y MacGyver, aunque ocasionalmente también hizo algún primer papel.

Herb Edelman falleció en 1996, a los 62 años de edad, en Woodland Hills, California, a causa de un enfisema, y fue enterrado en el Cementerio Montefiore en Springfield Gardens, Queens.