Todo el territorio es muy escarpado y está surcado por el barranco de las Capçades y otros que llevan las aguas del Ebro a través del valle de Voravall y el valle de las Comes.
La despoblación del siglo XIV provocada por las epidemias hizo perder la condición de universidades o municipios autónomos.
A finales del siglo XV se creó la encomienda de Villalba, y según Anton Monner el primer comendador fue Juan de Lianyi (1485) y el último, Gaspar Catalán (1787), aunque la encomienda dejó de tener vigencia efectiva con la desamortización.
Una vez terminada, en 1652, operaron, sobre todo por Villalba y la Fatarella, bandas de miquelets, hasta el 1685, algunos de los cuales murieron luchando contra las tropas del rey, y otros ahorcados en la plaza pública.
En las guerras carlistas, la ciudad se fortificó; la población era favorable a los carlistas, aunque un buen número de vilalbins lucharon contra Cabrera en los sitios de Gandesa.