El castillo fue fundado en la segunda mitad del siglo XIII por William I van Brederode (1215-1285).
El castillo, que forma parte del señorío de la Alta Brederode, había sido dado en préstamo en el siglo XIII a los señores de Brederode por el conde de Holanda.
El nombre Brederode es una referencia a una zona boscosa llamada Brede Roede (“ancho de madera”), en la que fue construido.
El castillo fue en un principio no más que una torre, pero a principios del siglo XIV Dirk II van Brederode la derribó para reemplazarla con un castillo propiamente dicho.
Durante los inicios de la sublevación neerlandesa ocupó un papel importante.