Por eso el año 951 es la referencia conocida más antigua, aunque el castillo obviamente podía ser anterior, pero no lo debía ser mucho, ya que no parece casual que en un mismo año haya dos documentos, uno del rey de Francia y el otro del papa de Roma, que hablen de Balsareny, y antes no hubiera ninguno (conocido).

A raíz de la rebelión del vaso Aissó, los años 826 y 827, todo el Bages quedó despoblado hasta que Wifredo el Velloso lo repobló los años 877 al 883, construyendo iglesias, monasterios y castillos junto al Llobregat, desde Balsareny hasta Manresa.

El primer personaje que aparece con este nombre es un vicario condal, Guifred de Balsareny.

Desde finales del siglo XI hasta el XIII era regido por los señores de Manresa, después pasó a Wifredo Guitart y en 1102 a su hijo Bernat Ramon y Pere Bernat de Manresa.

La familia propietaria actual, los marqueses de Alós, mantuvieron su residencia allí hasta el año 1976.

La inferior está estructurada a lo largo de un patio, casi rectangular, rodeado de una galería con varias cámaras destinadas a los servidores y guardianes, la bodega (donde todavía hay una tina), las cuadras y la mazmorra.

En la superior se accede por una escalinata que lleva a otras dependencias: cámaras, cocina y salones.