Nacido en Coswig, estudió en las universidades de Breslavia (Polonia) y Berlín, y se graduó en Halle en 1865.

Es célebre por sus comentarios sobre Immanuel Kant, en especial su Teoría kantiana de la experiencia (Kants Theorie der Erfahrung, 1871).

Otras obras conocidas son La lógica del conocimiento puro (1902), Sistema de filosofía (1902-1906) y El concepto de religión en una filosofía sistemática (1915).

El refinamiento del análisis lógico que Cohen realizó del método transcendental kantiano influyó en que fuera recibido con escepticismo y con admiración a un tiempo (véase Trascendentalismo).

Pensaba Cohen que el idealismo ético kantiano y la teología judía eran una misma doctrina pero subrayó que las creencias religiosas personales debían quedar fuera del ámbito reflexivo de la filosofía.