Después de sólo una temporada con los Staleys, Conzelman se fue a jugar con los Rock Island Independents, donde comenzó su carrera como jugador/entrenador.
Conzelman sufrió una lesión en la rodilla jugando como quarterback en 1928, pero como entrenador, llevó al equipo a una marca de 8-1-2 y el consiguiente campeonato de la NFL.
Conzelman dejó a Providence en 1930 para poner sus manos en otras empresas fuera del fútbol americano.
Pero, en 1940, volvió de nuevo a la NFL con los Chicago Cardinals.
Al año siguiente, sus Cards ganaron el título de la NFL y en 1948 ganaron su segundo título de la división consecutivo.