La planta del castillo era, más o menos, cuadrangular, de unos 43 x 25 m, aproximadamente.
La fachada norte, actual calle del Mesón Nuevo, ocupaba unos 25 m de longitud y quedaba flanqueada por dos torres que sobresalían de la línea del muro, la oriental cuadrada y la occidental circular.
En este frente el torreón se presenta completamente hermético, mientras que ofrece dos vanos en su cara oeste.
Finalmente, en lo que se refiere al almenaje primitivo de este frente, según el grabado de Simancas, ofrece al igual que la fachada norte merlones con albardillas en las torres del homenaje y de las armas, y sin albardillar en la muralla y en el torreón central.
Es, sin dudas, la más importante, ya que en ella se abre la entrada a la fortaleza.
Con un frente longitudinal aproximadamente igual a su opuesto (25 m), se inclina, con respecto a la disposición general de la planta, de forma brusca hacia occidente, defendiendo el extremo SE con el bloque arquitectónico formado por la Torre del homenaje y una torre circular que la asistía sobresaliendo de la fachada.
La Torre del homenaje destaca por sus grandes dimensiones sobre el resto de la construcción.
Parece que no era más que un recurso para proteger al acceso a la Torre del homenaje: para llegar al interior era preciso acceder desde la plaza de armas al torreón circular y ascender hasta la primera planta del mismo, donde comunicaría, a su vez, con la primera planta de la torre del homenaje.
Las cubiertas de esta torre eran, según Vicente Tofiño, abovedadas, espesas y fuertes.
Otros autores (Guillén Tato, Antón Solé, Sánchez Herrero) indican que se recubrieron las salas con bóvedas de arista.
Este acceso se protegió con una cornisa amatacanada que volaba sobre la puerta hasta tocar las dos torres que la flanqueaban, es de decir, el torreón cuadrado del SW y la torre circular que se adosaba a la del homenaje, de tal manera que el aspecto de la fachada en conjunto sería un frente casi compacto torreado con tres cuerpos, sin apenas cortina de muralla, salvo la existente entre la torre circular y la cuadrada menor, avanzando ambas para abrigar la entrada.
La organización interior, sin embargo, es paralela: dos plantas y entrada a nivel del patio de armas.
Esta abertura es gemela en altura y forma a otro tragaluz abierto en la Torre del homenaje en su cara sur.
No hay indicios del almenado que primitivamente debió rematar este torreón, aunque debió abrir una saetera en el ángulo exterior donde se ensamblaba con la torre del homenaje, pues de lo contrario la sección del frente contiguo a esta última hubiera quedado sin batir.
Llegaron a alcanzar en altura, aproximadamente, hasta la mitad del alzado y se cubrieron con un tejadillo a un agua adosado al paramento, cuyo nivel, como su fachada homóloga de S. Juan de Dios, también aparece visiblemente recrecido con respecto a la altura de la antigua muralla medieval.
El pequeño cubo central aparece sin merlones de ningún tipo.
Puede ser que este torreón, al quedar completamente sumergido en el interior de la Villa, no contase con almenaje alguno desde un principio.
Todo parece indicar que no son coetáneas (al menos la primera con respecto a las otras dos), aunque las tres presenten el acceso paralelo al frente de la muralla occidental.
En lo que se refiere a la cubierta, el grabado de Simancas la representa con merlones albardillados piramidales, muy frecuentes en Andalucía, y que normalmente se atribuyen a una pervivencia mudéjar de significación estética.
En 1485 se construyó una sala nueva en la fortaleza y un pretil sobre las cámaras de la torre vieja.
Tan solo los disparos de arcabuces desde las almenas intentaron contener el avance angloholandés.
Se pensó incluso en aprovechar la obra como una posible cantera para las edificaciones defensivas que, con la mayor urgencia, comenzaron a levantarse en la ciudad.
No se sabe cuál fue el motivo, a pesar de varias disposiciones dadas (incluso una del propio Felipe II) pero la realidad es que el Castillo Viejo no llegó a demolerse.
En 1701, en un nuevo intento de ataque a la Plaza, se sacó la pólvora del almacén que la ciudad había construido y que, al parecer, se hallaba en muy mal estado, llevándola otra vez al Castillo Viejo.
En 1717 se iniciaron unas obras para acondicionar el Castillo Viejo como sede de la recién creada Real Compañía de Caballeros Guardias Marinas, aunque no llegaron a acuartelarse hasta 1719.
En 1751 Jorge Juan y Santacilia tomó posesión del mando de la Escuela Naval.
En 1887, quince años después de la instalación del Asilo, Vera y Chillier escribía: "El antiguo Castillo de la villa existió, aunque derruido, hasta hace no muchos años.