Se unió a la facción bolchevique del Partido Obrero Socialdemócrata de Rusia (POSDR) en 1904, mientras estudiaba historia y literatura en la Universidad de San Petersburgo, donde era conocido por sus compañeros como camarada Abram.Tuvo que abandonar Rusia en junio de 1906, pero regresó ese mismo año más tarde.Detenido por la policía secreta zarista en 1907, fue liberado por falta de pruebas, aunque pronto deportado sin juicio a Lublin.Fue reclutado por el Ejército Imperial Ruso en 1912 y ascendido a teniente segundo, antes de ser licenciado en 1913.Tras haber trabajado como editor asistente de Pravda y enlace del grupo parlamentario bolchevique en la Duma durante unos meses, Krylenko fue de nuevo detenido en 1913 y deportado a Járkov, donde se graduó en derecho.Al estallar la Primera Guerra Mundial en agosto de 1914, tuvo que trasladarse a Suiza con nacionalidad rusa.En el congreso, fue elegido miembro del Comité Ejecutivo Central Panruso, por parte de la facción bolchevique.al cuartel general del Alto Mando del Ejército en Maguilov, pero fue detenido allí por el Gobierno Provisional, debido a la represión contra los bolcheviques desatada tras las Jornadas de Julio.Krylenko llegó al cuartel general del Alto Mando en Maguilov el 20 de noviembre y arrestó al general Nikolái Dujonin, quien fue acuchillado y pisoteado hasta la muerte por los guardias rojos por órdenes de Krylenko.Probó ser un excelente orador público, capaz de ganarse a masas hostiles tan solo con la palabra.En ese momento, toda la dirección bolchevique del Ejército Rojo, incluidos el Comisario del Pueblo de Defensa, Nikolái Podvoiski, y Krylenko, protestó vigorosamente y eventualmente dimitió.[nota 2] Krylenko fue un entusiasta exponente del Terror Rojo, a pesar de sus diferencias con la Cheka.Teorizó que la confesión era la última prueba de la culpabilidad del acusado y que las pruebas materiales, definiciones precisas del crimen, y condenas exactas (el llamado sistema "sistema de dosificación") no era necesario bajo el socialismo.A las visiones de Krylenko estaban opuestos dos teóricos soviéticos, incluyendo al fiscal general soviético, Andréi Vyshinski, que argumentaba que la definición imprecisa de Krylenko sobre crímenes y su rechazo a definir los términos del castigo introducían inestabilidad legal y arbitrariedades y que eran, por tanto, contrarios a los intereses del Estado soviético.[12] Después de tres días en una prisión del NKVD, Krylenko "confesó" que había sido un saboteador desde 1930.El juicio duró veinte minutos, lo suficiente para que Krylenko se retractase de sus "confesiones".
