En su juventud estuvo considerado como un actor prometedor y llegó a convertirse en un ídolo de las sesiones matinales.

Su carrera se decantó pronto al obtener el papel protagonista en la obra de Alexandre Dumas, El conde de Montecristo, papel que interpretó durante más de 4.000 sesiones, con gran éxito comercial.

Sin embargo, su elección de interpretar solamente un papel fue considerada por algunos (entre los que estaba su hijo) como una renuncia a desarrollar totalmente su talento, inclinándose por motivos económicos a no arriesgar en su carrera teatral.

James O'Neill fue el modelo para el personaje de James Tyrone en la obra casi autobiográfica de su hijo Eugène, Largo viaje hacia la noche, en el que relata la historia de una familia, la de Tyrone, extraordinariamente similar a la suya.

Murió a los 70 años en su domicilio familiar de Connecticut.