Como su padre formaba parte de un dúo pop, Stuart pasó gran parte de su infancia en estudios de grabación.

Como actor infantil, se hizo llamar Patrick Stuart y protagonizó la serie televisiva Galactica 1980 como Doctor Zee.

James es conocido sobre todo por sus papeles en series de televisión como CSI: Las Vegas, Cinco razones (para no salir contigo) o Nip/Tuck, pero también ha participado poniendo la voz en la versión en inglés de varios videojuegos como por ejemplo Kingdom Hearts II o Call of Duty 2.

Comenzó a actuar desde que era pequeño, por lo que a temprana edad ya comenzaba a ser visto en series de gran éxito.

Stuart reside en Los Ángeles, California con su esposa Jocelyn y sus dos hijos.