En 1401, los nobles húngaros se alzaron contra Segismundo, el cual fue apresado primero en la ciudad de Visegrado y luego fue llevado a Siklós.

Segismundo no olvidó a su favorecedor noble Garai, sino que al poco tiempo consumó una alianza con él, y se formó una liga de nobles que apoyaban al monarca.

Para 1440 ya habían sido construidas sus estructuras defensivas, las cuales no pudieron ser vencidas por el comandante militar húngaro Juan Hunyadi, quien buscaba expandir la influencia del rey Vladislao I de Hungría.

Tras la extinción de la familia Garai, el castillo pasó a manos del rey húngaro Matías Corvino, quien se lo otorgó a su hijo ilegítimo Juan Corvino, pero ya la familia Perényi habitaba los edificios desde inicios del siglo XVI.

Posteriormente, los nobles fieles al emperador germánico reformaron la estructura interna del castillo, dándole profundos rasgos barrocos, que son visibles en la actualidad.