Originalmente, el edificio era una mansión construida en 1819[1] por Aarón Cardozo, un próspero comerciante de origen luso-sefardí, asentado en Gibraltar.Fue construida en el lugar donde se encontraba un antiguo hospital y la capilla de la Santa Misericordia, posteriormente convertida en prisión.Sin embargo, debido a su amistad con Horatio Nelson, le fue permitido construir una casa en la Alameda con la condición de que fuera un ornamento para la plaza.Sin embargo, finalmente sirvió como sede del recientemente creado Ayuntamiento de Gibraltar.[3] El edificio fue posteriormente ampliado con una planta adicional y una nueva ala hacia el norte, modificando así su simetría original.