Finalmente, al llegar a la Carnegie Mellon University, decidió seguir los pasos de sus padres y optó por estudiar interpretación.

No tardaron en llegarle sus primeros papeles en el teatro, donde interpretó (al igual que sus padres) todas las obras de Shakespeare.

Como nota curiosa, en sus inicios tuvo muchos problemas para conseguir trabajos, debido a su estatura, dos metros y un centímetro.

Protagonista poco después de la serie, también para TV Hot L Baltimore, donde encarnaba a Bill Lewis, y no sería hasta el año 1976 cuando participaría en su primera película como actor profesional, Un cadáver a los postres, una comedia dirigida por Robert Moore, en la que un excéntrico millonario convidaba a los mejores detectives del mundo para que resolviesen un crimen que aún estaba por cometerse.

Llegamos a lo que se puede considerar como el lanzamiento a la fama de James Cromwell: Primero fue Babe, una película modesta que le valió una nominación al Óscar al mejor actor de reparto, donde interpretaba a un simpático granjero empeñado en que su cerdo participase en el más importante certamen de perros ovejeros del Reino Unido.

Desde ese momento, empiezan a lloverle papeles para películas taquilleras que James acepta sin dudarlo: En Deep Impact, donde es el recién dimitido asesor del presidente (Morgan Freeman) al que entrevista Jenny (Téa Leoni) junto a su barco mientras este lo intenta cargar con las suficientes provisiones para escapar del meteorito.

En RKO 281 donde aparece como William Randolph en la historia donde Orson Welles (Liev Schreiber) lucha por sacar adelante su proyecto Ciudadano Kane.

Finalmente ella se salva debido a la intervención divina de Coffey (Michael Clarke Duncan).

En Pánico nuclear Cromwell apareció como el presidente de los Estados Unidos, Robert Fowler.

También son destacables sus últimas participaciones en películas como Spider-Man 3, La joven Jane Austen, W. o The Artist.