Su primera actuación en el cine fue en un corto titulado Midnight Melodies, en el cual hacía imitaciones de George Jessel, Rudy Vallee y Harry Langdon.

En esta producción Gilford compartía el escenario con una joven Carol Burnett, retomando ambos sus papeles en dos versiones televisivas independientes, emitidas en 1964 y 1972.

Gilford ganó diversos premios´y fue nominado a varios Tony, uno al mejor actor de reparto por su papel de Hysterium en A Funny Thing Happened on the Way to the Forum (1963), y otro por su Herr Schultz en Cabaret (1966).

Era un activista que había hecho campaña a favor del cambio social, la integración racial y los sindicatos, apoyando social y políticamente a la causa izquierdista, al igual que hacía su mujer, la actriz Madeline Lee Gilford.

[5]​ En Broadway trabajó con éxito en obras como Drink To Me Only, Romanoff and Juliet y El diario de Ana Frank.

[5]​ Algunos de sus trabajos más recordados fueron llevados a cabo en series televisivas, con numerosas intervenciones como artista invitado.

Jack Gilford falleció en 1990, en su domicilio en Greenwich Village, tras tres años luchando contra un cáncer de estómago.