Se desconoce el nombre del arquitecto que llevó a cabo la edificación de este palacio fortificado.
El edificio se construyó utilizando mampostería de rocas coralinas.
Originalmente la residencia tenía 55 habitaciones, de las cuales se conservan sólo 22.
Por él pasaron grandes conquistadores españoles como Hernán Cortés y Pedro de Alvarado.
Diego Colón murió en España en 1526 pero María Álvarez de Toledo, su viuda, permaneció en él hasta su fallecimiento en 1549.