Como actor, dio sus primeros pasos en el teatro, graduándose en 1981 de la prestigiosa School for Creative and Performing Arts (SPCA), que está radicada en el misma ciudad.

Años más tarde, se graduó también en The Conservatory of Theatre Arts, de la Webster University, obteniendo una licenciatura en B.F.A.

Por dicha actuación, Carroll fue nominado a un Tony and Drama Desk.

Tras la muerte del personaje de Jenny Shepard —Directora del NCIS— su personaje reemplazó el puesto, integrando entonces Rocky Carroll el elenco principal en lugar de Holly.

A su vez, ha participado como Vance en los spin-off de la exitosa serie NCIS: Los Angeles y New Orleans.