Fue también aclamado por su actuación como Frank Doel en el Ambassadors Theatre con la puesta en escena en 1981-2 de 84, Charing Cross Road.

Otra producción para la que rodó varios episodios fue la sitcom Going Straight (1978), secuela de Porridge.

Antes había sido actor invitado, también junto a Beckinsale, en la comedia de la ITV Yorkshire Rising Damp, en el episodio "Good Samaritans".

Pero fue su papel del irascible Henry Davenport en la sitcom Drop the Dead Donkey, escrita por Andy Hamilton y Guy Jenkin, la que dio fama a Swift.

Era padre de la actriz Julia Swift y suegro del actor David Bamber.