[2]​ Es un tema que ya había sido tratado con anterioridad, desde los libros iluminados del siglo VI.

El centro del cuadro lo domina la torre a medio construir, dentro de un amplio paisaje panorámico.

Aunque a primera vista la torre parece constituida por una serie de cilindros concéntricos, un examen más atento demuestra la evidencia de que algún piso no reposa sobre una verdadera horizontal; la torre está más bien construida como una espiral ascendente.

Los arcos son, sin embargo, construidos perpendicularmente al suelo inclinado, lo que los hace inestables; algunos ya se aplastaron.

El autor pintó otra obra con el mismo tema, La pequeña torre de Babel, hacia el año 1563, la cual se encuentra en el Museo Boymans-van Beuningen en Rótterdam.