[3]​ La ciudad fue fundada en el siglo XIII mediante la fusión de dos pueblos llamados Mühlhausen y Raistingen.

Pertenecía al condado palatino de Tubinga hasta que en 1382 fue incorporada a Wurtemberg.

En 1592 nació aquí Wilhelm Schickard, matemático que construyó la primera calculadora automática.

Herrenberg se unió a la red de ferrocarril en 1879, lo que permitió su desarrollo industrial.

En la segunda mitad del siglo XX aumentó notablemente su población, por un lado al extenderse hasta aquí las afueras del área metropolitana de Stuttgart y por otro lado al incorporarse al territorio de la ciudad entre 1965 y 1975 los antiguos municipios de Affstätt, Haslach, Kayh, Kuppingen, Mönchberg, Oberjesingen y Gültstein.