Bunge comenzó a participar activamente en política en el año 1896 cuando ingresó en el Centro Socialista Universitario, a instancias de su nuevamente compañero José Ingenieros y Ángel M. Giménez, uno de los pioneros del socialismo en la Argentina.

En el año 1900 integró la lista de candidatos a diputados nacionales del PS por la Capital Federal, pero no fue electo.

Aun así, Bunge fue el único diputado socialista que mantuvo una postura neutralista en la guerra hasta el final del conflicto, a diferencia de sus otros compañeros socialistas que se mostraban a favor de romper relaciones con Alemania y declararles la guerra.

Para 1920 Bunge comenzó a adoptar posiciones terceristas dentro del Partido Socialista (aquellos que apoyaban la Revolución Rusa y buscaban que el partido se integrara en la Internacional Comunista), al igual que otros dirigentes como Enrique del Valle Iberlucea, Roberto Giusti, y otros, y a fines de ese año presentó su renuncia al partido en solidaridad con los afiliados expulsados por haber manifestado opiniones similares, aunque su renuncia no fue aceptada.

En 1932 asumió la vicepresidencia de la Cámara de Diputados asignada al PSI por la Concordancia, aunque su desmesura ante ciertas acciones hizo que al año siguiente no fuera reelecto.

Bunge quedó en su banca del Congreso al igual que los otros dos diputados disidentes.

Durante la Segunda Guerra Mundial organizó auxilios a la URSS, presidiendo la Confederación Democrática Argentina de Ayuda a los Pueblos Libres, convirtiéndose en “compañero de ruta” del comunismo.

En vida había contraido matrimonio en dos oportunidades: con Belén Holmberg y en segundas nupcias con María Müser, una enfermera alemana que emigró a la Argentina a comienzos de la Primera Guerra Mundial.

Como fruto de su segundo matrimonio nació el eminente filósofo, físico y epistemólogo Mario Bunge.