Su verdadero nombre era Julian Lafaye, y nació en Nueva Orleáns, Luisiana.
Carroll trabajó en el cine en varios pequeños papeles con su nombre original hasta 1935, cuando utilizó por primera vez el nombre artístico de John Carroll en Hi, Gaucho!.
Probablemente su papel más conocido fue el de Woody Jason en la película de 1942 Flying Tigers (Tigres del aire), protagonizada por John Wayne.
Su último papel tuvo lugar en la película de 1974 Ride a Pink Car.
La segunda con Garnett Lucille Ryman, permaneciendo el matrimonio unido hasta el fallecimiento del actor.