Es conocido por sus papeles secundarios en Scarface y en las seis primeras películas dirigidas por Darren Aronofsky: Pi, Requiem for a Dream, La fuente de la vida, El luchador, Black Swan y Noé.

Aronofsky escribió el papel del padre Ávila en La fuente de la vida específicamente para ser interpretado por Margolis.

Margolis tuvo papeles en numerosas series televisivas, incluyendo The Equalizer, Oz, Californication, Breaking Bad, Better Call Saul y Crossing Jordan.

Por su interpretación de Héctor «Tío» Salamanca en Breaking Bad, recibió una nominación[7]​ al Primetime Emmy al mejor actor invitado - Serie dramática en 2012.

Un día después del fallecimiento del artista, su propio hijo, Morgan Margolis, confirmó el deceso de su padre tras sufrir una “corta enfermedad” en el Hospital Monte Sinaí de la ciudad de Nueva York, sin brindar mayor información, aunque hay que recordar que este actor ya había tenido una cirugía cerebral luego de sufrir una caída mientras filmaba la serie Better Call Saul.