Su carrera cinematográfica inició con un papel no acreditado en la película Pot o' Gold, un spin-off del programa radial.
Carney trabajó continuamente en la radio durante los años 1940, interpretando personajes o personificando celebridades.
Gleason desarrolló una buena química con Carney y lo reclutó para que apareciera en otros sketches, tales como The Honeymooners.
Por su trabajo en televisión, Carney fue nominado a siete Premios Emmy, de los cuales ganó seis.
Aunque se retiró en los años 1980, realizó un cameo en la película de 1993 Last Action Hero.
Carney también realizó algunos trabajos en Broadway, tales como su actuación en La extraña pareja junto a Walter Matthau.