Del castillo, popularmente llamado Castillo de los Moros, actualmente solo queda la torre con un pequeño trozo de muralla almenado y alguna estructura anexa.
La torre, que también llaman de Vilaragut data del siglo XII y toma su nombre de uno de los titulares del señorío, quien tuvo su propiedad a finales del siglo XIV.
Más tarde fue pasando de mano en mano, de Francisco Scribe a Raimundo Castellano y más tarde a Antonio Vilaragut y a la familia Roiç de Corella.
Más tarde, en 1699, la baronía de Dos Aguas se constituiría en marquesado.
En la zona hubo revueltas a la expulsión de los moriscos lo cual dejó el término con apenas 12 casas habitadas por cristianos.