Por eso se le suele considerar un realizador clave en la llamada "Generación de la televisión" junto con los directores Robert Mulligan, Arthur Penn, Sidney Lumet, Martin Ritt y otros.
Su debut en la gran pantalla llegó en 1957 con The Young Stranger, protagonizada por James MacArthur como el joven rebelde.
El actor, también productor, había comenzado el proyecto en 1961 con otro director, pero lo despidíó y pidió a Frankenheimer que se hiciera cargo del rodaje.
Frankenheimer se metió en el montaje para intentar recortar el metraje y que quedase coherente.
Después del éxito de El hombre de Alcatraz dirigiría All Fall Down (1962), un duro drama familiar sobre un gigoló maltratador inspirado en la novela homónima de James Leo Herlihy (futuro autor de Midnight Cowboy, 1965), dialogado por el dramaturgo William Inge y protagonizado por Warren Beatty, Eva Marie Saint, Angela Lansbury y Karl Malden, pero sería despedido por el productor John Houseman, aunque el filme finalmente se estrenó.
El director quiso a Angela Lansbury, con la que ya había trabajado en All Fall Down (1962).
Posteriormente, el director explicó, en un libro del crítico de cine Charles Champlin, que las razones reales por las cuales no se estrenaría hasta meses después fue mucho más vulgar: la lucha entre los estudios a causa del sueldo de Sinatra.
Una nueva versión del best-seller de Charles Bailey II y Fletcher Knebel, producida por Kirk Douglas.
El actor protagoniza a un general, subordinado del Jefe del Estado Mayor Conjunto, interpretado por Burt Lancaster, quien pretende organizar un golpe de Estado contra el presidente porque este quiere cerrar un acuerdo de desarme con los rusos.
El siguiente film sería El tren, un nuevo proyecto de Burt Lancaster como productor asociado, que por diferencias personales despidió al director Arthur Penn y le pidió a Frankenheimer que se hiciera cargo del rodaje.
Así, consiguió que su nombre formara parte del título de crédito «John Frankenheimer's The Train», el control final en toda la producción y un automóvil Ferrari.
Su siguiente película sería en 1967 con la comedia antibélica The Extraordinary Seaman con David Niven, Faye Dunaway, Alan Alda y Mickey Rooney.
La película tuvo una mejor aceptación y su protagonista, Alan Bates, fue nominado al Óscar.
En 1996, dirigió la adaptación de La isla del Doctor Moreau, con Marlon Brando, en una versión absolutamente desoladora.