Gotovac nació en Split (entonces parte de Austria-Hungría) e inicialmente tení poca educación formal en música, si es que tuvo alguna.

Jakov fue afortunado al verse animado y apoyado por Josip Hatze, Cyril Metoděj Hrazdira y Antun Dobronić quienes le instilaron una orientación nacionalista en música.

Comenzó como estudiante de Derecho en Zagreb, pero pasó a escribir música en 1920.

En 1923 se trasladó a Zagreb, donde siguió trabajando como director y compositor hasta su muerte.

Su obra más conocida es sin duda Ero, que se ha interpretado en todos los continentes excepto en Australia, y traducida a nueve idiomas, con su libreto escrito por Milan Begović.