Creció en un barrio mayormente poblado por inmigrantes italianos llegados a América alrededor de 1900.

El teatro dramático y musical se convirtieron en la pasión de Chianese.

En 1974, Francis Ford Coppola eligió a Chianese como Johnny Ola en El padrino II, lo que despertó su carrera cinematográfica, que culminó en varias películas junto a Al Pacino: Tarde de perros (1975), como el padre de Sonny; Justicia para todos (...And Justice for All, 1979), como Carl Travers; y Looking for Richard (1996), como él mismo.

Chianese es músico, ha editado un álbum llamado Hits en 2000, en el que canta canciones estadounidenses e italianas.

En 2003 lanzó su segundo álbum, titulado Ungrateful Heart, que contiene dieciséis canciones clásicas napolitanas.