Su perímetro está compuesto por muros anchos culminados con adarbe, unidos por varias atalayas o torres de flanqueo, situadas en los ángulos, la torre más alta se sitúa al norte (originaria entrada) y otra torre con orientación oeste que destaca por sus almenas, ambas son cubiertas, accediéndose a la parte superior a través de una angosta escalera espiral.
Esta fortaleza se levantó en piedra, aunque con diversos sistemas constructivos, debido a la multitud de moradores que ocuparon sus estancias.
Su ubicación lo hace pieza clave en la red de vigilancia del litoral, además controla la desembocadura del río y la vía de comunicación terrestre entre Málaga y Marbella.
Una vez derrotados, los sitiados recibieron la ayuda de 3.000 franceses al mando del general Sebastiani.
Al tiempo de evacuar el castillo, las tropas francesas hicieron explosionar la torre suroeste y partes de los muros anexos, que no se volvieron a reconstruir, aunque sí se construyó el actual muro de aspilleras cerrando así el perímetro abierto en el recinto.
Algunas de las piezas de artillería, que abandonaron los diferentes ocupantes que tuvo el Castillo, fueron encontradas en 1914, y durante muchos años pudieron contemplarse expuestas a lo largo del paseo marítimo, aunque en la actualidad se conservan en el interior del castillo.
En este mismo año, el recinto interior y los accesos fueron acondicionados para que el Castillo sirviera como auditorio.
En la primera sala se sitúa al visitante en los orígenes urbanos de la ciudad y su entorno.