En 1964 se le había ofrecido el papel, pero como tenía contrato con Universal Studios tuvo que rechazarlo.

Siguió trabajando en el cine y realizó numerosas presentaciones en diversos programas de televisión, incluyendo dos episodios de The Dukes of Hazzard como el sheriff Grady Byrd.

En 1983 trabajó en la serie Columbo en un episodio haciendo de él mismo.

Llegando al Día para salir del armario en 1991, Sargent declaró públicamente su homosexualidad y apoyó los derechos gay.

Los médicos fueron inicialmente optimistas de que la enfermedad podría ser tratada; sin embargo, el cáncer continuó expandiéndose y a principios de 1994, se encontraba gravemente enfermo.