Como ocurre en el interior de varias torres-puerta desde época emiral, la circulación en el zaguán está sujeta a quiebros, dado que su planta rectangular adopta un acceso en recodo; un préstamo de la arquitectura militar que dificultaba la entrada directa del enemigo.
El edificio contiene restos de un «caldarium» que hablan de una antigua presencia romana en el mismo solar, si bien su conjunto se data entre los siglos xv y xvi, fusionando elementos del Gótico final –con influencia mudéjar- y el Renacimiento.
La torre castellana que le da nombre, otra torre más pequeña y el primitivo patio conformaban el conjunto construido en la tradicional fábrica de mampostería caliza y ladrillo, cuyos sillares externos se decoraron luego con esgrafiados geométrico de herencia mudéjar, representando «circunferencias tangentes salpicadas con pedacitos de escorias».
En su jardín interior se realizan diversos eventos del Hay Festival y Titirimundi, además de aprovecharse para conciertos, espectáculos o desfiles.
En ella se adquieren los tickets para acceder hasta la última planta de la torre, visitar el antiguo palacio, su museo, y pasear por la galería del jardín.