El castillo está catalogado como patrimonio junto con las ruinas de un fuerte romano.

En 1264, Robert de Vieuxpont nieto, fue declarado traidor y su propiedad fue confiscada por Enrique III.

La importancia de Brougham fue tal que en el año 1300 recibieron al rey Eduardo I.

El segundo Roger de Clifford fue ejecutado como traidor en 1322, y las propiedades familiares pasaron a manos de Eduardo II, y fueron devueltas una vez que Eduardo III se convirtió en rey.

Ese mismo año, Jacobo I visitó Escocia y en su viaje de regreso se quedó en los castillos de Carlisle, Brougham, y Appleby, donde se dieron caros banquetes en su honor.

En ese momento el castillo ya no era una fortificación y se había convertido en una mansión de campo.

La cáscara vacía comenzó su decadencia y era demasiado costoso de mantener.

El castillo pasó a manos del Estado en la década de 1930 y se le efectúan reparaciones.