Se cree que estaba en el lugar de la casa Can Porrafols donde hay basamentos y restos de antiguos muros[1] El castillo de Aviñón ya existía en el siglo X.
Estaba encomendado a Mayor, hijo de Sendred, en nombre del conde.
Seguramente la fortaleza fue derribada en el siglo XII en la razzia de los almorávides del 1108.
Por esta razón, Ramón Berenguer IV en 1156 dio a Berenguer de Avinyó el monte llamado Avinyó para que edificasen casas y un castillo.
A finales de siglo el término pasa al monasterio de Poblet, por deja testamentaria, y en 1227 el abad vendió el castillo al obispo de Barcelona, el cual lo cedió a la Pia Almoina de Barcelona.