Estudió en la Universidad de Yale, y desempeñó trabajos diversos como fabricar herramientas en Ford Motor Company, minero, agente inmobiliario y bailarín de night club.

En el cine, Murphy fue famoso como bailarín y cantante, actuando en muchos musicales de gran presupuesto, tales como Broadway Melody of 1938, Broadway Melody of 1940 y For Me and My Gal.

Su debut en el cine se produjo poco después del inicio del cine sonoro, en 1930, y su carrera se prolongó hasta su retirada en 1952, a los 50 años de edad.

Fue elegido dos veces presidente del Screen Actors Guild entre 1944 y 1946.

Tras presidir el National Republican Senatorial Committee en 1968, el año en que Richard Nixon fue elegido Presidente, Murphy se presentó a la reelección sin éxito en 1970, siendo derrotado por el congresista demócrata John V. Tunney.