Juan Clat Fragela, comerciante sirio establecido en la ciudad, fue el promotor de este edificio, levantado entre 1736 y 1745.

Consciente de la singularidad de su proyecto, Fragela renunció a parte del solar que poseía para dejar un espacio libre ante la construcción y lograr así una mejor visión del conjunto.

El edificio sigue el esquema característico de las casas de cargadores a Indias y conserva muchos rasgos significativos del barroco gaditano del siglo XVIII, circunstancia que llamó la atención de Eugène Delacroix durante su estancia en la ciudad, como testimonia el apunte que realizó de su fachada.

Estas torres forman, sin lugar a dudas, el conjunto más logrado y de mayor monumentalidad de todas las torres realizadas en Cádiz.

Sobre los ángulos se levantan cuatro esbeltas torres miradores.