Hasta 1859 fue llamada Despotovac, basado en el del río que pasa por la ciudad, el Despotovica.

El municipio original fue llamado Despotovac en honor al río Despotovica que pasaba por el mismo (a su vez el río tomó el nombre del déspota de Serbia, Đurađ Branković, un gobernante medieval).

[1]​ La ubicación de Gornji Milanovac confirma que esta área fue habitada en la prehistoria, y en sus alrededores se han encontrado asentamientos de ilirios, tracios, dacios, algunos vestigios celtas y godos e importantes asentamientos romanos.

En la montaña Rudnik se conoce la existencia de un templo romano dedicado a Terra Mater.

La ciudad tuvo una importancia significativa durante el Primer Levantamiento Serbio contra el Imperio Otomano, pero más aún durante el Segundo Levantamiento Serbio, que finalizó con la autonomía respecto a los turcos.