Holland empezó a producir grabaciones en solitario en 1978, siendo su primer EP Boogie Woogie '78.
Comenzó su carrera en televisión siendo coanimador del programa musical de Newcastle The Tube, con Paula Yates.
Holland logró notoriedad inadvertidamente usando la frase «groovy fuckers» en una propaganda televisiva en vivo para dicho programa, razón por la cual fue suspendido por tres semanas.
Más tarde se refirió a esta situación en su sitcom The Groovy Fellers, con Rowland Rivron.
Desde 1992 conduce el programa musical Later... with Jools Holland en BBC Two.