Únicamente se conservan unos pocos restos del castillo de Espinalbet, algunas hiladas de lo que fue una edificación de planta cuadrada construida directamente sobre la roca.Probablemente se trataba de una torre de defensa que controlaba el sector de Castellar del Riu pero que no adquirió nunca la categoría de castillo fronterizo.No se ven restos de murallas ni otras construcciones ya que, seguramente, la piedra de la torre fue aprovechada para construcciones posteriores, masías vecinas y la rectoría de San Vicente.Se conservan los restos de lo que fue una escalera de acceso que sube arriba de la colina que domina el valle.En 1187 es mencionado en el testamento del trovador Guilhem de Berguedan como una de las posesiones que cedió a su hermano Berenguer.
