El origen del castillo hay que situarlo entre los siglos XI y XII, pero no fue importante hasta el siglo XIII, periodo en que los señores de Sesagudes abandonaron el castillo del Montseny para instalarse en esta fortaleza.

Se casó con Gueralda de Cabrera, hija del vizconde Guerau V.

Su hijo Riambau heredó el castillo, pero lo tuvo poco tiempo, ya que pronto lo cedió a su tío Ramón de Cabrera.

Fue en el siglo XIV cuando se llevaron a cabo las obras de transformación del castillo en palacio.

A un segundo momento corresponde el cercado de planta casi cuadrada, construido ya en la Baja Edad Media, en el siglo XIII o XIV.