Schiavelli nació en Brooklyn, Nueva York, en una familia de origen siciliano.

Schiavelli debutó en el cine en 1971 con la película Taking Off, del director de origen checo Miloš Forman, quien contó con él para buena parte de sus proyectos posteriores.

Fue con este realizador con el que interpretó algunos de sus papeles más aplaudidos, como el del lunático Frederickson en One Flew Over the Cuckoo's Nest (1975) o el criado de Salieri en Amadeus (1984), además de aparecer en cintas como Valmont (1989), Batman Returns (1992), The People vs.

Con una altura de 1,96 m y un rostro que podía transformarse en una máscara lúgubre, Schiavelli encarnó a secundarios inolvidables, como en Ghost (1990), película en la que era el voluble fantasma del metro de Nueva York que ayudaba al personaje de Patrick Swayze a manejarse en el mundo material.

Schiavelli era nieto de un cocinero siciliano que le inculcó su amor por la cocina, lo que se tradujo en varios libros de recetas, en buena parte sicilianas, firmados por el actor.