En algún momento a fines el siglo XV se construyó un nuevo castillo con una torre de ladrillo y una prisión.
Dicho castillo fue destruido durante la invasión sueca de Polonia (1655-1660).
En mayo de dicho año se enfrentaron en este lugar rebeldes y tropas rusas.
Tras la revuelta, los rusos impusieron fuertes impuestos a sus residentes y la ciudad entró en declive.
Más adelante, en 1862, la construcción del ferrocarril San Petersburgo-Varsovia evitó Suraz, lo que ahondó su decadencia.