Koch nació en Darmstadt, en el entonces existente Gran Ducado de Hesse.
En 1916 se unió voluntariamente al Ejército Imperial y combatió en el Frente Occidental hasta 1918, cuando fue capturado por los británicos.
Koch se casó por primera vez en 1924 y tuvo un hijo.
Ese mismo año, Karl Otto Koch se unió al Partido Nazi y a la Schutzstaffel (SS).
Esto se debió en buena medida a una investigación policial por acusaciones de conducta impropia en Buchenwald, que incluían corrupción, fraude, malversación de fondos, embriaguez, delitos sexuales y asesinato.
La acusación más famosa contra Ilse Koch fue que seleccionó prisioneros con tatuajes para ser asesinados, con la finalidad de que su piel fuera utilizada para fabricar pantallas de lámparas para su casa;[2] sin embargo, nadie pudo testificar haber visto tales lámparas durante el juicio de Ilse.
Después de un intenso interrogatorio, Koch confirmó las acusaciones contra Konrad Morgen.
El juicio se celebró a puerta cerrada y se escuchó a un total de 22 testigos, hombres de las SS y prisioneros.
Las sentencias contra el matrimonio Koch se anunciaron en diciembre de 1944.
Sommer fue enviado al frente en libertad condicional, donde resultó gravemente herido.
Ilse Koch fue absuelta en este caso y puesta en libertad.