Sus premios incluyen ser nominado a un Drama Desk Award en 1989 por su papel en Juno and the Paycock.

Durante los doce años siguientes Kavanagh no apareció en películas, aunque siguió con su carrera en el teatro.

Una de las películas más famosas en las que ha actuada es Cal (1984), protagonizada por Helen Mirren y John Lynch.

Su carrera fue impulsada a mediados de los 90s cuando compartió reparto con Mia Farrow y Jim Broadbent en la película Widows' Peak (1994).

Luego hizo un cameo en Sharpe junto a Sean Bean y Hugh Fraser, haciendo de Michael Curtis.