Su nombre real es Joseph Lane, pero lo cambió porque había oído que existía un actor llamado de la misma forma.
Al año siguiente tuvo una pequeña participación en el drama televisivo Jacqueline Susann's Valley of the Dolls, que relataba la vida de tres mujeres que llegaban a Nueva York a buscar fama y fortuna.
Siguió con su carrera en el teatro, alternando con el cine y la televisión, destacando obras como The Lisbon Traviata (1989), Guys and Dolls (1992), Love!
Tras esta, realizó varios roles como secundario en películas como The Lemon Sisters (1990), He Said, She Said (1991) o Addams Family Values (1993), pero es su actuación en la película The Birdcage (1996), de Mike Nichols, la que consolida su carrera y resulta todo un éxito de taquilla.
Su siguiente éxito sería la versión cinematográfica de Los productores (2005), escrita y dirigida por Mel Brooks.