La madre de Schmid era francesa y por tanto creció bilingüe.

La familia de Carlo Schmid se mudó a Stuttgart, donde realizó sus estudios.

Schmid comenzó su carrera como abogado y desde 1929 fue profesor en la Universidad de Tübingen.

En 1949 fue elegido diputado del Bundestag, presidiendo el Comité de Asuntos Exteriores hasta 1953.

Desde entonces, Schmid estuvo involucrado hasta su muerte en 1979 en la coordinación de las relaciones entre Alemania y Francia.