Su última actuación para el cine fue con el papel de Marvin en ¿Quién engañó a Roger Rabbit?.
En la temporada 1959–1960 Kaye trabajó junto a William Demarest, Jeanne Bal y Murray Hamilton en la sitcom de la NBC Love and Marriage.
Además, en 1963 intervino como el obeso marino "Tubby Mason" en la serie de la NBC Ensign O'Toole, protagonizada por Dean Jones.
Fuera de la pantalla, en 1974 trabajó en Broadway en la reposición del musical Good News.
Su segundo matrimonio fue con Angela Bracewell, antigua corista del circuito de Broadway a quien conoció mientras vivía en Gran Bretaña.