[1]​ Estuvo asociado por lo general con criminales como John Dillinger, al que ayudó a escapar de la prisión en Indiana, con lo que Baby Face Nelson (Lester Joseph Gillis) se convirtió principalmente junto a su camarada John Dillinger y junto con los otros restantes miembros de la banda en los más buscados y requeridos por la justicia y en enemigo público número uno (En especial Baby Face Nelson y John Dillinger, considerados junto a Al Capone como los mayores enemigos públicos número uno de la década de los 30's de los Estados Unidos).

En dos años, Nelson y su banda se habían graduado en el robo a mano armada.

Un mes más tarde, Nelson y su banda saquearon otra casa con un botín de 25.000 dólares en joyas.

El Chicago Tribune se refiere a su líder como "George 'Baby Face' Nelson", quien recibió una sentencia de un año en la penitenciaría del estado en Joliet, Illinois.

Durante estos trabajos, Nelson probablemente conoció por primera vez a Juan Pablo Caza y Fatso Negri, dos hombres que estuvieron a su lado durante la segunda mitad de su carrera.

Haciendo equipo con Bentz, Nelson regresó a la región central el siguiente verano y cometió su primer gran atraco a un banco en Grand Haven, Míchigan, el 18 de agosto de 1933.

Allí, Nelson y los suyos habían comprado varias armas a Hyman Lehman.

La noche que Dillinger llegó a la zona de las Twin Cities, Nelson y su amigo John Paul Chase fueron interrumpidos por un coche conducido por un vendedor local de pintura llamado Theodore Kidder.

Nelson perdió los estribos y se lanzó en su persecución, llevando el vehículo de Kidder a la cuneta.

En el robo, que le proporcionó alrededor de 49.000 dólares (las cifras difieren ligeramente), Nelson hirió gravemente al policía Hale Keith con una ráfaga de sub-ametralladora cuando el oficial llegaba a la escena.

Dillinger y Hamilton fueron heridos en el asalto, donde se hicieron con un botín de 52.000 dólares.

[17]​ Tras el robo en Mason City, Nelson y John Paul Chase huyeron al oeste de Reno, donde sus antiguos jefes Bill Graham y Jim McKay estaban siendo juzgados por un caso federal de fraude postal.

Años más tarde, el FBI determinó que el 22 de marzo de 1934, Nelson y Chase secuestraron al testigo principal contra la pareja, Roy Fritsch, y lo mataron.

Aunque los pandilleros lo saludaron por su nombre, Wanatka sostuvo que no tenía conocimiento de sus identidades hasta la noche del viernes.

Según el libro de Bryan Burrough Public Enemies: America's Greatest Crime Wave and the Birth of the FBI, 1933–34, esto probablemente ocurrió cuando Wanatka jugaba a las cartas con Dillinger, Nelson y Hamilton.

Aparentemente insatisfecho con la velocidad del coche, rápidamente les ordenó que se detuvieran en una casa bien iluminada, donde un operador telefónico, Alvin Koerner, los reconoció y rápidamente llamó a las autoridades para informar de un vehículo sospechoso frente a su casa.

[27]​ El 27 de junio, Pat Reilly fue rodeado mientras dormía y fue capturado con vida en Saint Paul, Minnesota.

Cuando Dillinger y el hombre identificado como Floyd (no confirmado) salieron del banco con sacos que contenían 28.000 dólares, se llevaron consigo tres rehenes (incluido el presidente del banco) para disuadir de disparar a tres policías que se encontraban en la escena.

En el intercambio de disparos, otros transeúntes resultaron heridos por proyectiles, rebotes, o vidrios rotos.

Resultó ser el último robo confirmado por todos los participantes conocidos y sospechosos, entre ellos Floyd (desconocido).

Cuando la reunión fue interrumpida por dos policías estatales, Fred McAllister y Gilbert Cruz, Nelson disparó contra su vehículo con su "pistola ametralladora", hiriendo a ambos.

Cuando Nelson, su pareja y Chase regresaron a esa posada el 27 de noviembre, se encontraron cara a cara con los sorprendidos agentes del FBI, en un momento en que no estaban preparados para un enfrentamiento armado.

Armados con una descripción del coche (un Ford V8 negro) y su número de matrícula (639-578), más agentes llegaron a la zona.

[40]​ El tiroteo se desató en Barrington cuando Nelson, junto a Helen Gillis y John Paul Chase, conducían un Ford V8 robado hacia Chicago en la carretera estatal 14.

Los agentes no sabían que un disparo efectuado por Ryan había perforado el radiador del Ford de Nelson ni que el Ford estaba siendo perseguido por un automóvil Hudson conducido por dos agentes más: Herman Hollis (quien fue acusado de haber hecho el tiro mortal a un herido Pretty Boy Floyd un mes antes[41]​) y Cowley.

Como resultado de ello, Ryan y McDade eran ajenos a los acontecimientos que sucedieron después.

Este, avanzando hacia los agentes, disparó tan rápido con un rifle .351 que los transeúntes lo confundían con una ametralladora.

[42]​ Hollis fue gravemente herido en la cabeza y declarado muerto poco después de llegar al hospital.

[46]​ Gillis y Nelson están enterrados en el cementerio de San José en River Grove, Illinois.

Como hombre irascible que era, Nelson no dudó en matar por igual a representantes de la ley y transeúntes inocentes.