A pesar de su carácter religioso, este último edificio presenta un aspecto fortificado.Vinculado desde sus orígenes al poderoso Arzobispado de Toledo, fue reformado y ampliado en varias ocasiones entre los siglos XIV y XV, junto con las torres del recinto amurallado en el que el castillo se integra.De ahí las diferentes facturas que presentan los distintos elementos del conjunto.En el siglo XV, el castillo abandonó su inicial función defensiva y se convirtió en cárcel de clérigos, en tiempos del arzobispo Alfonso Carrillo de Acuña.A pesar de su nombre, el castillo se encuentra actualmente desmochado.
