Al parecer, cuando se llevó a cabo la conquista de Tortosa por el conde de Barcelona y princeps de Aragón Ramon Berenguer IV el castillo estaba dividido en tres partes, o, por así decirlo, había tres castillos independientes; porque al explicar Cristóbal Despuig en sus Col·loquis las recompensas que Ramon Berenguer otorgó a los cuatro caballeros que fueron los primeros en asaltar la muralla de la Suda, dice que, a Guillermo Ramón I de Moncada, le dio uno de los tres castillos, que el otro le dio a Pere de Sentmenat y que el tercero se lo reservó para él.
En la época en que el infante Ferran fue marqués de Tortosa, el castillo pasó a sus manos, y en 1363 fue recuperado por el rey Pedro el Ceremonioso, junto con la jurisdicción de la ciudad; en ese momento se hicieron importantes obras de reforma De entonces, el actual Parador de Turismo aún conserva tres notables chimeneas y cuatro grandes ventanales característicos del mejor gótico catalán.
Las construcciones medievales permanecen muy enmascaradas por las obras realizadas durante los siglos xvii y xviii, en las que se fortificaron las dos elevaciones adyacentes para formar un dispositivo de defensa.
En el acceso al castillo se puede contemplar un cementerio musulmán.
De éste se extrajo, en 1972, un epitafio datado del siglo X con referencias a un gobernador, conservado en el propio Parador.