En su juventud, trabajó como herrero y, influenciado por su hermano Nikola Kovačević se aproximó al comunismo, convirtiéndose en miembro del Partido Comunista de Yugoslavia en 1925.

Su unidad tomó parte en 1942 en la campaña de Bosanska Krajina -operación contra guarniciones del NDH que puso bajo control partisano una gran parte de Bosnia.

En febrero y marzo de 1943, durante la Batalla del Neretva, (en clave operación Weiss) Kovačević lideró a su brigada en los ataques en Prozor contra los italianos, uniéndose a los defensores de Konjic contra la ofensiva del Eje.

Su división cubría la retaguardia de otras unidades -entre las que se encontraban los líderes del movimiento, incluido Tito- que, al mando de Koča Popović, consiguieron romper el cerco a que los alemanes les habían sometido.

En la película Sutjeska (en español: La quinta ofensiva) de 1973 su papel lo interpretó el conocido actor serbio Ljuba Tadić.