La ocupación humana en la localidad se remonta a la Primera Edad del Hierro observándose cierta continuidad en el poblamiento durante la Segunda Edad del Hierro, con asentamientos carpetanos y hasta la ocupación romana.

A pesar de esta denominación, los últimos estudios coinciden en identificar el edificio con una “mansio” o albergue donde los viajeros que recorrían las calzadas romanas encontraban alojamiento.

La situación del edificio corrobora esta versión ya que algunos autores sostienen la existencia de una vía secundaria que desde Complutum (Alcalá de Henares) y pasando por Daganzo y Valdetorres se dirigiría a Somosierra.

Junto a esta vía existían diversas villas que en algunos casos tuvieron cierta continuidad durante el periodo visigodo y medieval.

Junto a las piezas escultóricas aparecieron también fragmentos de marfiles tallados, que tras su estudio pusieron de manifiesto su origen en Egipto pudiendo ser fechados en torno a finales del siglo IV d. C. o primera mitad del siglo V.

Estos elementos, junto con los distintos fragmentos de cerámica presentes en el edificio, fijan la cronología del mismo aproximadamente en la época del emperador Constancio (337-361 d. C.), estando en uso al parecer durante un siglo, aunque existen evidencias de su reutilización con otras funciones en época visigoda y posterior.

Si en las anteriores épocas históricas los asentamientos se establecían en las cercanías del río Jarama, en su primera terraza, la ubicación actual se traslada a una zona más elevada en la segunda terraza formada por el dicho curso fluvial.

La zona en la que actualmente se encuentra el campo de fútbol constituye un buen emplazamiento ya que se halla en un cerro natural bordeado por el arroyo Valtorón y por tanto, con suministro de agua.

A cambio de esa cesión recupera Talamanca y su alfoz para el poder real.

[6]​ En este documento aparece citado Valdetorres como Valdeturres junto con localidades como Loeches, Tielmes, Olmeda o Valdilecha por lo que no es seguro, debido a la distinta situación geográfica, que se trate de la misma localidad.

Esta próspera propiedad había pertenecido anteriormente al Arzobispado de Toledo.

[8]​ En el año 1579 la villa es vendida por Felipe II a su contador mayor, Francisco de Garnica.

En Silillos en cambio, actuaran como propietarios, ejerciendo su autoridad a través de un administrador.

En todo caso esta fábrica no prosperó y en 1770 ya no estaba en funcionamiento debido al parecer a la insalubridad del lugar y a las dificultades en el transporte de la producción.

A mediados del siglo XIX, la villa tenía contabilizada una población de 865 habitantes.

Los primeros tractores rudimentarios llegaron bien entrado el siglo XX y no para todos, la mayoría araba con yuntas, ya fuera de bueyes o mulas, lo que implicaba condiciones ahora impensables.

Había quien se traía a sus mujeres, incluso los hijos si tenían una edad en la que pudieran ayudar, ocho o nueve años.

Luego había que meter el grano en los serones y subirlo a los graneros que por lo regular estaban en la parte alta de las casas, tradicionalmente en Valdetorres se ha denominado cámaras, a estos desvanes.

Una vez finalizadas estas tareas agrícolas, los segadores volvían a sus lugares de origen.

El día 14 de septiembre había misa solemne en honor del Santísimo Cristo Crucificado y por la tarde se celebraba la procesión por las calles del pueblo, que hasta épocas relativamente recientes, no estaban asfaltadas.

Pero si hay una fiesta que define a Valdetorres es la del Santísimo Cristo de los Ultrajes.

Ya no existe el servicio militar obligatorio pero los jóvenes que ese año cumplan la mayoría de edad siguen con la tradición.

Parte del espíritu que animaba estas celebraciones estaría relacionado con el inicio del buen tiempo, el desarrollo de las cosechas, y para los jóvenes que participan en ellas podría entenderse como una especie de rito iniciático.

Además de los asados, recurrentes en toda la zona, en Valdetorres al llegar Semana Santa se elaboran los hornazos.

Es como una especie de bizcocho hecho con la masa del pan y harina, azúcar, naranja, limón y los ingredientes que cada cual incorpore, en esto cada uno tiene su receta, que en muchos casos se mantiene en secreto en cada una de las familias.

Este paraje ya no existe tal y como se conservó hasta hace unos años, pero siempre a orillas del Jarama hay sitios magníficos para este y otros menesteres.