El castillo fue construido sobre un promontorio que dominaba el valle del Senne, unos cuarenta metros más abajo.
El sitio era particularmente adecuado para la defensa y estaba en el primer recinto fortificado de Bruselas.
La ciudad y el castillo que la domina ganan importancia con la creación del Ducado de Brabante (1183).
El castillo ducal queda ahora a una distancia de las murallas y pierde su carácter defensivo para transformarse en palacio residencial.
Los duques agrandan las estancias, añaden salas de recepción y crean el parque.
Desde entonces, el palacio debe ser un reflejo de la gran potencia borgoñona y pasa por muchos cambios.
Por la mañana, el palacio está en ruinas, se han perdido parte de los archivos y obras maestras del arte.
Por más de cuarenta años, las ruinas del palacio, conocido como "la Corte quemada", se dejan tal cual.
Fue sólo en 1774, bajo la regencia del gobernador Carlos Alejandro de Lorena (1712-1780), cuando se decide retirar los restos y reconstruir el área.
La capilla también fue destruida porque su estilo gótico no encajaba en los gustos de la época (rococó).
En primer plano está la antigua iglesia de Santiago (Saint-Jacques), destruida en el siglo XVIII y reconstruida en el mismo lugar pero mirando a la nueva plaza.
Al fondo del patio, fachada lateral con la gran escalera de honor que conducía al Aula Magna de Felipe el Bueno, edificio que sobresale en el conjunto palaciego.
Los archiduques Alberto e Isabel añadieron otro piso al edificio principal.
Las ventanas del otro lado daban a los jardines y al parque.
Las nuevas obras permiten la visita desde el Museo Belvue, que ocupa el lugar de los antiguos apartamentos principescos.