Böhm pasó la mayor parte de su infancia en Alemania y se trasladó tras la Segunda Guerra Mundial a Graz, al sur de Austria, donde terminó su bachillerato.

Primero quería ser pianista, pero al ver que su talento no le iba a alcanzar el de su padre, decide estudiar actuación.

Su carrera como actor finalizó a comienzos de los años 80 cuando decidió dedicarse de pleno a la ayuda humanitaria a partir de 1981, cuando fundó Menschen für Menschen ('Humanos por Humanos'), Böhm estuvo activamente implicado en trabajos caritativos en Etiopía, donde pasó largas temporadas en ese país, donde además formó una nueva familia con Almaz Böhm.

Karlheinz Böhm estuvo casado en cuatro ocasiones, con Elisabeth Zonewa (1954-1957); Gundula Blau (1958-1962); Barbara Kwiatkowska-Lass (1963-1980).

Tuvo tres hijos de estos matrimonios entre los que se encuentra la actriz Katharina Böhm (nacida en 1964).