Un árbol de guayabo, dio nombre inicialmente al sector donde se ubicaría el parque Caldas, así se le llamaría desde la mitad del siglo XIX, a la depresión existente en este sector del centro de la ciudad, conocida como la Quiebra del Guayabo, la plazuela donde funcionó el primer circo de toros en 1897, en el lugar que hoy ocupa la iglesia de la Inmaculada Concepción.
La plaza de Sucre, obtuvo su nombre debido al funcionamiento de la Penitenciaria o Prisión (actualmente cuartel de la policía nacional); en 1902 el poeta Samuel Velázquez estaba dentro del grupo que propuso allí mismo, apoyando la idea del Ingeniero Carlos Clavijo, agrimensor Oficial del Municipio, de reconformar este espacio, con la colaboración del Ingeniero Julián Arango y quien trazó el jardín; luego de que los soldados hicieran el aplanamiento y deshierba del terreno que era un cuadrado el cual tenía 60 metros.
Luego del terremoto de 1979 el cual se aprovechó para demoler todo el costado norte y otras manzanas posteriores; el entonces Banco Central Hipotecario realizó un concurso nacional de vivienda, donde se incluía un centro comercial y el parque, este fue ganado por el arquitecto Juan Manuel Castellanos y del cual solamente se construyeron el centro comercial, y la remo delación del parque; parte de lo anterior permitió que este proyecto en su conjunto fuera distinguido años más tarde con el "Premio Atila", dado por la revista argentina de Arquitectura y Urbanismo o DANA en 1981,[1] con la colaboración entre otros del Arquitecto Ramón Gutiérrez.
[2] [3] Entre los elementos que lo conforman se encuentra la iglesia de la Inmaculada Concepción, la cual se levanta sobre el costado oriental del parque, acompañada de construcciones bajas de vivienda y comercio, edificaciones que igualmente acompañan los costados sur y occidente; el costado norte se compone del centro comercial Parque Caldas, el cual se encontraba comunicado con el parque por medio de un puente peatonal hasta su desmantelamiento en 2007.
En 1937 se inaugura el busto en bronce del Maestro y pedagogo José María Guingue, quien sería considerado el primer maestro de la ciudad, obra del escultor Constantino Carvajal.