Durante estos años Herman se centró en sus prodigiosas condiciones atléticas y fue reclutado por la Fuerza Aérea Soviética, en donde aprendió a saltar en paracaídas.
[4] Las autoridades soviéticas le pidieron a Herman para firmara los documentos del record mundial, que incluían un espacio en blanco para la indicar la ciudadanía y en el que Herman escribió "EE.UU." Después de negarse reiteradamente a cambiarlo por la "URSS", Herman fue arrestado en 1938 por "actividades contrarrevolucionarias" y pasó un año en una prisión local, en donde sufrió brutales torturas.
Entre otras cosas tenía que sentarse en un banco 18 horas al día, inmóvil y en silencio, frente a una puerta; fue golpeado en los riñones cada noche durante 52 días seguidos; fue encerrado en una celda con delincuentes violentos que trataron de matarlo; fue sometido a una dieta de hambre.
Sin embargo violó la libertad condicional al casarse con una mujer rusa local, Galina, que para entonces tenía una hija, Svetlana.
En 1956 las autoridades soviéticas le comunicaron que no tenían ningún expediente sobre Victor Herman, como si nunca hubiera estado un prisionero, y que era libre de marcharse de Siberia, pero no Rusia.
[9] El libro con las memorias de sus experiencias, “Coming Out of the Ice” (1979) fue redactado por Gordon Lish,[10] y más tarde se convirtió en una película para televisión, en 1982, protagonizada por John Savage, Willie Nelson y Ben Cross (Yo escapé del hielo, dirigida por Waris Hussein).