Hizo una larga carrera como actor secundario tras debutar a los veintidós años y consolidarse a partir de su papel en El padrino II.

[1]​[2]​[3]​ Siempre como actor secundario, Kirby no sólo se dedicó a la comedia sino que interpretó papeles dramáticos en películas como Donnie Brasco, Birdy y Good Morning, Vietnam.

En televisión actuó como personaje secundario en series populares como Hill Street Blues, Fame y Mad About You.

[4]​[2]​[3]​ También actuó en teatro, reemplazando a Kevin Spacey en la obra de Broadway Lost in Yonkers (1991) e interpretando en off-Broadway al escritor Alan Zweibel en Bunny Bunny (1997).

Tras participar en la película de culto This Is Spinal Tap (1984), desde entonces tendría roles secundarios junto a protagonistas como Matthew Modine (en Birdy), Robin Williams (en Good Morning, Vietnam), Richard Dreyfuss (en Tin Men), Marlon Brando (en The Freshman), Leonardo DiCaprio (en The Basketball Diaries), Johnny Depp (en Donnie Brasco, donde volvió a trabajar con Al Pacino) y Kevin Bacon (en Sleepers).