Se hizo conocido en los años 1960 en el cine independiente, concretamente en las películas de John Cassavetes.

Su debut en el cine fue en Shadows (1959), la primera película dirigida por Cassavetes, donde Cassel además fue productor asociado.

Luego trabajaría en posteriores películas de Cassavetes como The Killing of a Chinese Bookie o Opening Night.

Con algunas apariciones desapercibidas en producciones de Hollywood como Dick Tracy (con Al Pacino y Dustin Hoffman) y Una proposición indecente (con Robert Redford y Demi Moore), Cassel siempre apoyó a la comunidad del cine independiente, especialmente después de la muerte de John Cassavettes.

Tuvo un pequeño papel en Trees Lounge, el debut de Steve Buscemi como director, y también en tres películas de Wes Anderson: Academia Rushmore, The Royal Tenenbaums y Life Aquatic.