Un tío suyo, Carl Koldeway (1837-1908), fue explorador y Admiralitätsdirektor (Director del Ministerio de Marina) en Hamburgo.

Aunque estudió arquitectura e historia del arte en Berlín y Viena, abandonó ambas universidades sin un título superior.

Posteriormente, Koldewey realizó excavaciones para el Instituto Arqueológico Alemán en yacimientos helénicos como Lesbos (1885-1886) y mesopotámicos como Lagash (1887).

[6]​ Los Jardines Colgantes de Babilonia eran una leyenda no confirmada hasta entonces sobre una hermosa montaña artificial llena de plantas y árboles verdes que, al parecer, construyó el rey Nabucodonosor (que gobernó entre 605 a.C.

Aunque Koldewey estaba convencido de haber encontrado los jardines, algunos arqueólogos modernos han puesto en duda su descubrimiento.

Aunque la ubicación del lugar que Koldewey excavó era bien conocida y reconocida como el lugar donde se encontraba Babilonia, argumentan que el lugar de la excavación estaba demasiado lejos del río Éufrates para haber sido regado con la cantidad de agua necesaria para un jardín verde, y el antiguo historiador griego Estrabón afirmó que los Jardines Colgantes se encontraban justo al lado del río.

En 1913 dirigió las excavaciones que encontraron e identificaron la estructura del zigurat denominado Etemenanki, popularmente asociado a la Torre de Babel mencionada en el Génesis.