Nacido en una familia de clase media, se trasladaron a Long Beach en California, cuando James tenía tres años.
Se alistó en la Marina estadounidense, siendo trasladado al Pacífico cuando la Guerra de Corea, aunque no llegó a entrar en combate.
Completó un Master of Arts en 1957 y un doctorado en filosofía en 1959 en ciencia política en la Universidad de Chicago, siendo alumno de Edward Banfield y Leo Strauss.
[5][6] Formó parte de la junta directiva de la New England Electric System (en la actualidad, National Grid USA), Protection One, RAND y State Farm Mutual Insurance.
Aunque, como joven profesor, votó por John F. Kennedy, Lyndon Johnson (asesorando a su gobierno en temas de criminalidad y justicia) y Hubert Humphrey, Wilson fue reconocido más tarde como un destacado académico conservador, como indica su posición de asesor del American Enterprise Institute.