Cuando tenía siete años, su padre abandonó a la familia, dejándola en una pobreza que llevó al pequeño Charles de doce años a cometer su primer delito, cuando ingresó en la casa de unos vecinos para robar, siendo este delito descubierto por su hermano mayor, quien al enterarse lo golpeó hasta dejarlo inconsciente, para luego delatar a Charles, quien por este robo fue ingresado en 1903 en el Minnesota Correction Facility, ubicado en Red Wing, Minnesota.
Allí, el mismo Panzram contó en su adultez haber sido abusado sexualmente por un guardia del centro el primer día, además de sufrir constantes palizas y abusos cortesía de los sacerdotes del lugar, quiénes constantemente lo castigaban debido a su analfabetismo.
Por lo tanto, Carl tomó represalias incendiando una parte del edificio, causando daños en $100.000 dólares.
En 1906, con quince años, es detenido en Montana, y trasladado a un reformatorio en dicho estado, donde entabló amistad con un convicto llamado Jimmy Benson, con quién sale un año después de la cárcel, y parten rumbo a Kansas, dedicándose en el camino a robar y quemar iglesias, debido al gran resentimiento que Carl tenía hacia el Cristianismo fruto del trato que recibió cuando era niño en el reformatorio por parte de sacerdotes.
Ése mismo año es juzgado por un tribunal militar luego de ser descubierto robando provisiones con las que planeaba desertar.
Todo esto, sin embargo, no impidió que Charles quemará la cárcel, ayudará a escapar a otro prisionero llamado Otto Hooker, y, finalmente asesiné al director de la prisión, Henry Milton, para luego escapar.
En 1911, Charles roba $3000 dólares y una Colt 45, además de adquirir un Yate, con el que diseña un nuevo Modus Operandi para delinquir.
En 1921, con ya veintinueve años, abandona Estados Unidos, y sé establece en Angola, donde consigue empleo en una empresa petrolera.
Thomas E. Gaddis escribió un libro sobre Panzram en el año 1970 llamado «Panzram: A Journal of Murder», libro que fue adaptado al cine en 1996 bajo el título Killer: A Journal of Murder.