Sin embargo, una pequeña guarnición de soldados polacos al servicio del Ejército francés de Napoleón Bonaparte, destinados en la fortaleza medieval de Fuengirola, logró contenerla, tras apresar a Lord Blayney durante la batalla (estuvo tres años prisionero en Francia).
Uno de los motivos que indujo a los defensores del 4º Regimiento del Gran Ducado de Varsovia a realizar incursiones entre las filas de las fuerzas que asediaban el castillo, era que debido al enorme polvorín que concentraba la fortificación, entre munición y pólvora, los defensores temían que fuese blanco de la artillería enemiga y muy probablemente fortaleza y defensores hubiesen sido aniquilados, (de ahí que dispusieran de material suficiente como para que la torre suroeste y parte de los muros adyacentes (S y O) de la fortaleza volaran por los aires cuando las tropas napoleónicas abandonaron posteriormente el castillo).
Curiosamente tanto británicos, al desistir de la toma del castillo, como polacos cuando, por el desarrollo de la guerra, se vieron obligados a abandonarlo, ambos lo hicieron por mar.
La torre volada junto a los muros destruidos jamás se reconstruyeron.
Con posterioridad los extremos de los muros que permanecieron en pie fueron unidos por la construcción de otro más endeble que actualmente se conserva, orientado hacia SO, conocido como «muro de aspilleras».