Nacido en tiempos del gobierno de Juan Manuel de Rosas, hijo del banquero alemán Carlos Bunge y hermano del futuro intendente de Buenos Aires Emilio Bunge, realizó sus estudios en Europa, aprendió alemán, inglés, francés, holandés e italiano y recibió su diploma en la Real Academia de Arquitectura de Berlín, regresando a la Argentina a los 30 años, en tiempos de la fundación del Estado moderno.

En 1886, con Adolfo Büttner, Joaquín Mariano Belgrano, Carlos Altgelt, Otto von Arnim, Juan Martín Burgos, Juan Antonio Buschiazzo, Julio Dormal, Enrique Joostens y Fernando Moog, fue socio fundador de la Sociedad Central de Arquitectos, y su primer Presidente.

Su hijo Jorge Bunge seguiría la profesión paterna y se transformaría en uno de los primeros arquitectos argentinos en acercarse al racionalismo que anunciaría el comienzo de la modernidad.

Algunas de sus obras más importantes fueron la Penitenciaría Nacional (año 1872, demolida en 1962, actual Parque Las Heras), la Capilla de Santa Felicitas (año 1876, frente a la Plaza Colombia de Barracas), la Escuela Normal de Maestras (1885, actual Escuela Normal 1, Avenida Córdoba 1951), las cárceles de Dolores y San Nicolás, las residencias ya demolidas de los Pereyra Iraola (1886, Arenales y Esmeralda), los Ayerza (Adolfo Alsina 929), los Guerrero (Florida 162), Francisco Chas (Juramento y Vuelta Obligado), Juan Cobo, Alejandro Leloir (Juan D. Perón 855), diversos miembros de la familia Pacheco (Maipú y Viamonte), Francisco Meeks, Marcó del Pont (Belgrano y Chacabuco) y Pedro Agote (1888, calle México, entre Perú y Chacabuco), casas quinta en localidades del Gran Buenos Aires.

También realizó los Asilos Maternales Norte, Sud y Este de la Municipalidad de Buenos Aires.