En 1919, Cohn se unió a su hermano y Joe Brandt para fundar la CBC Film Sales Corporation.

La relación entre los dos hermanos no siempre fue buena, y Brandt, al encontrar la sociedad estresante, finalmente vendió su tercera parte de la compañía a Harry Cohn, quien asumió el cargo de presidente, momento en el cual la firma pasó a llamarse Columbia Pictures Corporation.

Cada año Columbia lanzaba algunas producciones «con clase» (Lost Horizon, Holiday, Mr Smith Goes to Washington, The Jolson Story, Gilda, All the King's Men, etc.), pero dependía de sus producciones populares de «presupuesto» para mantener solvente a la empresa.

En cambio, lo habitual era que firmase con actores que generalmente trabajaban para estudios más caros (Wheeler & Woolsey, Cary Grant, Katharine Hepburn, Mae West, Humphrey Bogart, Dorothy Lamour, Mickey Rooney, Chester Morris, Warren William, Warner Baxter, Sabu, Gloria Jean, Margaret O’Brien, etc.) para atraer una audiencia ya predispuesta.

Moe Howard de los Tres Chiflados recordó que Cohn era «un verdadero tipo Jekyll-Hyde; socialmente, podía ser muy encantador».

Se sugiere que Cohn cultivó deliberadamente su reputación de tirano, ya sea para motivar a sus empleados o simplemente porque aumentaba su control del estudio.

Se dice que Cohn mantuvo una fotografía firmada de Benito Mussolini, a quien conoció en Italia en 1933, en su escritorio hasta el comienzo de la Segunda Guerra Mundial (Columbia produjo el documental Mussolini Speaks en 1933, narrado por Lowell Thomas).

Cohn contrató a los Tres Chiflados en 1934 y, según Larry Fine, «pensó que le trajimos suerte».

[6]​ Cohn estuvo casado con Rose Barker de 1923 a 1941 y con la actriz Joan Perry (1911-1996) desde 1941 hasta su muerte en 1958.

[7]​[8]​ Según el escritor Joseph McBride, Jean Arthur renunció al negocio porque Cohn solía acosar a las actrices.

[11]​ Sin embargo, debido a que Hayworth era una propiedad tan valiosa, Cohn la mantuvo bajo contrato porque ella ganaba dinero para él.

- The Kid in the Middle, junto con el episodio de la estrella titular de TV One Unsung Hollywood, se afirmó que Cohn, para poner fin a la relación de Kim Novak con él, que era un hombre negro, tenía mafiosos que lo amenazaban con dejarlo ciego o romperle las piernas si no se casaba con una mujer negra en cuarenta y ocho horas.