El monumento está indebidamente designado como un castillo, ya que consiste en los restos de una sección de la valla urbana, que caracteriza a Seda como un asentamiento fortificado.
La presencia romana en la región está atestiguada por el puente de Vila Formosa, construido entre los siglos I y II, y los hitos de una carretera.
Algunos autores admiten que la primitiva fortificación del asentamiento se remonta a un castro de los lusitanos, ocupado por tropas romanas que habrían erigido una fortificación en él, lo cual no está probado.
Se remonta a ese momento el comienzo de la primitiva valla del pueblo.
Estos restos se encuentran entre los jardines y patios traseros de las casas del lado este de la calle del Castillo y en una abrupta pendiente que ya es una propiedad agrícola prácticamente intacta.