Los otros tres, John Dillinger, Pretty Boy Floyd y Baby Face Nelson, murieron antes de ser capturados.

Karpis nació en Montreal, Quebec, hijo de los inmigrantes lituanos John (Jonas) y Anna (Ona) Karpavičius.

Pocos años después la familia se trasladó a Topeka, en el Estado de Kansas,[2]​ donde el joven Karpis se inició en la delincuencia a la temprana edad de 10 años, relacionándose con jugadores, contrabandistas y proxenetas.

Cuando Alvin fue puesto en libertad en 1931, se unió a Fred Barker en Tulsa, Oklahoma, y pronto formaron la banda Barker-Karpis.

[4]​ Karpis fue descrito como el líder o «cerebro» de la banda, a menudo retratado como alguien «superinteligente» y con memoria fotográfica.

[10]​ Para ese entonces, el FBI había organizado un grupo de agentes altamente cualificados y eficaces llamados «escuadrones voladores», especializados en dar caza a los principales enemigos públicos; solo en 1934 murieron John Dillinger, Bonnie y Clyde, Charles «Pretty Boy» Floyd, Lester «Baby Face Nelson» Gillis, John «Red» Hamilton, Homer Van Meter, Tommy Carroll y Eddie Green.

Karpis y su secuaz Harry Campbell consiguieron escapar en mitad del tiroteo, aunque su novia Dolores Delaney, embarazada de ocho meses, fue alcanzada en el muslo por un disparo.

Karpis y Campbell se escondieron durante varios meses con la prostituta Edith Barry.

Karpis continuó sus crímenes con otros delincuentes de poca monta, pero tuvo que mantenerse en constante movimiento más que nunca, ya que era el cuarto y último de los Enemigos Públicos Número Uno del FBI; los tres anteriores (John Dillinger, Pretty Boy Floyd y Baby Face Nelson) ya habían sido asesinados.

La escena fue aún más confusa cuando Hoover ordenó a sus hombres que «le pusieran las esposas»; ningún agente había traído esposas y Karpis tuvo que ser atado con la corbata de un policía.

No era ni mucho menos un preso modelo, ya que se peleaba a menudo con otros reclusos.

Quiere aprender a tocar la guitarra y convertirse en una estrella de la música.

No obstante, cuando Manson empezó a dominar dicho instrumento musical, pidió ayuda a Karpis para conseguir trabajo tocando en locales de Las Vegas, ya que Karpis tenía contactos con propietarios de clubes nocturnos y casinos.

[1]​ Karpis fue puesto en libertad condicional en 1969 y deportado a Canadá, aunque al principio tuvo dificultades para obtener la credencial de pasaporte canadiense, ya que el médico del hampa Joseph Moran le había borrado las huellas dactilares en 1934.

Escribió sus primeras memorias en 1971,[11]​[19]​ mientras que otro libro más se publicó en 1980, un año después de su muerte.