Él derrotó al entonces gobernador Scott McCallum con un margen de 45 % a 41 %, una mayoría simple reducida por el éxito relativo del candidato del Partido Libertario Ed Thompson, hermano menor del exgobernador Tommy Thompson.
El gobernador Doyle nació en Washington D. C.[1], hijo de Ruth Bachhuber y James E. Doyle Sr., quienes fueron miembros fundadores del actual Partido Demócrata en Wisconsin.
James E. Doyle Sr. se postuló sin éxito para gobernador en 1954 y fue nombrado juez federal en 1965.
Doyle asistió a la Universidad de Stanford por tres años y entonces regresó a Madison, Wisconsin para su último año en la Universidad de Wisconsin-Madison.
Luego se mudó a la Reserva Navajo en Chinle, Arizona, donde trabajó como abogado en una oficina federal de servicios legales.