Tras finalizar la Segunda Guerra Mundial, Whitmore actuó en Broadway en el papel del sargento en la obra Command Decision.
En la temporada televisiva de 1960-1961 Whitmore protagonizó su propia serie criminal para la ABC titulada The Law and Mr.
Whitmore hizo también abundante trabajo teatral, y ganó un Tony por su interpretación en la obra Command Decision (1948).
Más adelante se ganó el título de "King of the One Man Show" tras sus actuaciones en solitario en Will Rogers' USA (1970) (repitiendo el papel para TV en 1972), Give 'em Hell, Harry!
En 1999, fue Raymond Oz en dos episodios de The Practice, ganando un Emmy al mejor actor invitado en una serie dramática.
En 2002 Whitmore consiguió el papel del padrino en la película de Disney Channel A Ring of Endless Light.
Tras el divorcio de Mygatt, Whitmore se casó con la actriz Audra Lindley (fallecida en 1997), permaneciendo unidos desde 1972 a 1979.
Finalmente, en 2001 se casó con la actriz y autora Noreen Nash, abuela del actor Sebastian Siegel.