A partir del siglo XV se llaman Barones de la Bisbal, los que se mantuvieron en posesión del castillo por muchas generaciones.

Durante la guerra contra Juan II de Aragón, Bernat Salbà se puso al servicio del rey Juan.

Su fidelidad le valió prerrogativas casi ilimitadas en el castillo y en el término de la Bisbal.

En el siglo XVII, por uniones familiares, la señoría pasó a los Villalonga y en el siglo XVIII se produce la decadencia de esta familia y el castillo es abandonado.

Se hundió a finales del siglo XIX y quedan algunos muros antiguos aprovechados por casas posteriores.