Debutó en Broadway en 1922 haciendo el papel de Reb Aaron en The God of Vengeance.

Dos años después ingresó en la compañía teatral Theatre Guild, y encarnó al personaje del título en Tío Vania (de Antón Chéjov).

[1]​[2]​ Carnovsky actuó en casi todas las grandes producciones del Group Theatre, a menudo interpretando papeles que habían sido específicamente escritos para él por su buen amigo, el actor y dramaturgo Clifford Odets.

Entre sus actuaciones más destacadas con el Group Theatre figuran las que hizo en las obras de Odets Awake and Sing, Golden Boy, Paradise Lost y Rocket to the Moon.

Carnovsky también actuó en el musical antibelicista Johnny Johnson, en la pieza de Sidney Kingsley Men in White, en la producción dirigida por Elia Kazan Thunder Rock, y en las obras My Sister Eileen y Cafe Crown.

El debut de Carnovsky en el cine llegó con la película de 1937 ganadora del Óscar a la mejor película, The Life of Emile Zola, dirigida por William Dieterle y protagonizada por Paul Muni.

Tras desaparecer el Group en 1940, Carnovsky viajó nuevamente a Hollywood, actuando en varias películas y continuando con su trabajo teatral formando parte del Actors' Lab.

En esta actividad, en el Connecticut College tuvo la oportunidad de enseñar al futuro actor cinematográfico Leland Orser.

En reconocimiento a su labor teatral, Carnovsky fue incluido en el Salón de la Fama del Teatro Americano en 1979.