[7]​[9]​ Estas tierras no fueron ocupadas durante el resto del siglo XVIII y buena parte del XIX, Solo en la parte baja de la colina se construyeron casas durante esta época,[1]​[7]​ principalmente de artesanos acaudalados, que se asentaron cerca del empedrado donde residía el clero, los ediles y algunos terratenientes.

[7]​ A principios del siglo XIX, el obispo Luis Adíano Díaz, intentó vender la loma de San Antonio y su Capilla, pero se encontró con la negativa de los habitantes del barrio, que ejerciendo presión, lograron que el municipio comprara los lotes y así preservar la capilla y la colina.

El acueducto de San Antonio empezó a construirse en 1915 y se terminaría en 1927.

El agua filtrada no llegaría al barrio hasta 1932 y sólo a algunas familias, que la distribuían entre sus vecinos.

Pero los habitantes del barrio se movilizaron rápidamente y en un acuerdo con la Secretaría de Obras Públicas Departamentales se construyó el primer alcantarillado del barrio, el acuerdo consistió en que la Secretaría aportaba la mano de obra y una volqueta, y los vecinos de San Antonio los materiales.

[1]​ Los habitantes del barrio y la comunidad en general repudiaron el acto, que fue noticia en toda la ciudad.

[1]​ San Antonio es reconocido por albergar y haber albergado reconocidos escritores, pintores e intelectuales de diversos tipos en sus calles y casas, además de los personajes típicos que solo se encuentran en el barrio.

Entre estos últimos podemos nombrar al «Corrillo del Gato Negro»,[1]​[7]​[15]​ donde participaron varios intelectuales y artistas además de los habitantes del sector y en cuyo honor se compuso el pasillo El gato negro, por el Maestro Santiago Velasco,[15]​ el mismo que compuso el Himno al Valle del Cauca.

«El Negro Genaro», «La Fiera» y «El burrito de San Francisco» fueron otros personajes típicos del barrio.

Otros personajes más reconocidos han sido Andrés Caicedo, que entre sus calles escribió buena parte de su Magna obra ¡Que viva la música!,[1]​ Otros artistas como Carlos Mayolo, los pintores y escultores Miguel Reyes y Antonio Molina, Luis Ospina, Fernando Urrea, guionista de la película sobre el barrio «San Antonio, vida cotidiana desde abajo», filmada en 1985.

En el Parque del acueducto en todo lo alto de la colina, se hace un pesebre gigante.

En todas las casas se puede ver una mata de sábila atada de cabeza en la entrada a la casa, se supone que esto atrae la fortuna, pero si esta llega a secarse atraerá lo contrario.

También es tradicional poseer una mata de millonaria en el patio, que trae la suerte, además de la oración a San Francisco y una herradura pegada por el reverso junto a la puerta.

[7]​ Cuenta la historia que a los madrugadores que iban a misa se encontraban con la viuda de Perencejo, una señora bien entrada en edad y muy arrugada, sentada en el atrio del Complejo religioso de San Francisco pidiendo lumbre y cuando el transeúnte le ofrecía la llama, quedaba envuelto en una espesa nube de humo tras la cual, la viuda había desaparecido.

[7]​ En horas de la madrugada en San Antonio, se escucha un estruendo de pisadas de caballos, como una estampida, que despierta a todos los vecinos, que al asomarse a los balcones o ventanas pueden escuchar el ruido frente a ellos, pero únicamente ven una nube o Viento del diablo, se cree que esta historia está relacionada con la Cruz que hoy en día se puede ver en el Parque Artesanal Loma de la Cruz.

[7]​ También se cuenta que hacen aparición en este tradicional barrio Duendes, brujas y sectas satánicas.