Erigido sobre el cortado del río Sellent a su paso por la población, se encarama sobre la villa histórica, haciendo las labores de vigilancia y protección.
Se accede a él por la calle del Castillo, que parte desde la plaza de la Iglesia.
El recinto fue construido sobre una primitiva fortaleza islámica en el siglo XVI por la familia Pardo de la Casta, señores del lugar, convirtiéndola en un castillo: palacio que actuaba como residencia y símbolo de poder del señorío.
Sus descendientes, los Fernández de Córdoba, Lanti Della Rovere y Manfredi, dejaron abandonada la edificación a su suerte.
Frente a la puerta principal y al lado derecho del patio está la escalera que da acceso a las habitaciones altas, la cual tiene un buen pasamanos de piedra con 20 gradas para subir hecho de sillería con el mejor gusto.