[1] En televisión comenzó a trabajar como actor realizando un papel recurrente en la serie Ozzie's Girls (1973).
Realizó otros papeles mayormente pequeños a lo largo de los años 1970, en series como Adam-12 (1968), Emergency!
Harmon fue nombrado hombre vivo más sexy por la revista People en 1986, en 1987 protagonizó la película de drama After the Promise (Valiosa Promesa o el Valor de la promesa) donde interpreta a Elmer Jackson.
En la década de 1990 protagonizó la serie Dudas razonables (1991), junto a Marlee Matlin.
Desde ese año, Mark Harmon representa a Gibbs en la serie NCIS, papel con el que consiguió tres nominaciones para los People's Choice Awards.