[1][2][3] Nació en Saint Charles, Missouri y fue bautizado en la Iglesia Episcopal local, Kelly pasó su juventud en las orillas del Misisipi.
[1] Fue durante esta época que empezó a participar activamente en el movimiento sindical y por primera vez entró en contacto con las ideas anarquistas.
[2] Aunque no tuvo una gran actividad en el movimiento durante su estadía en Inglaterra, colaboró con el importante periódico anarquista Freedom, junto Kropotkin, Varlaam Cherkesov, Louise Michel, Max Nettlau y John Turner hasta su regreso a los Estados Unidos en 1904.
[8][2][1] De vuelta a su país, Kelly continú trabajando para la American Machine and Foundry hasta 1920.
Kelly aspiraba a esteblecer una sociedad anarquista basada en la asociación voluntaria, sin coerción ni autoridad (que sería reemplazada por la libertad personal), la autonomía individual y la ayuda mutua.