Melvin nació en Kansas City (Misuri) y fue criado en Nueva York.

Mientras trabajaba en Stalag 17 en Broadway, Melvin obtuvo su primer papel televisivo interpretando a Steve Henshaw en The Phil Silvers Show.

[1]​ Durante este periodo, además de actuar en The Phil Silvers Show, Melvin también interpretó papeles secundarios, ocasionalmente ásperos, pero generalmente amigables.

En los años 1960, Melvin interpretó a Charley Hacker durante cuatro temporadas en Gomer Pyle, U.S.M.C..

Melvin participó como estrella invitada en ocho episodios de The Andy Griffith Show, generalmente interpretando a un villano.