Fue el fullback de los Green Bay Packers desde 1958 hasta 1966, y jugó para los New Orleans Saints en su primera temporada, en 1967.

Taylor jugó fútbol americano universitario en Louisiana State siendo considerado como un All-American en 1957.

En enero de 1967, Taylor y los Packers jugaron en el Super Bowl I, en el que vencieron fácilmente a los Kansas City Chiefs.

Aunque no tenía un tamaño excepcional, Jim Taylor fue un fullback que gustaba del juego físico, a menudo ganando duelos legendarios en contra del linebacker Sam Huff.

Solo tuvo 34 fumbles en las 2.173 en las que tocó el balón (1.56 %) En 1967, Taylor jugó una temporada con el equipo de expansión New Orleans Saints, un año después se retiró del fútbol americano profesional.