Aunque no existe documentación al respecto, la teoría que cobra más peso es que este puente es uno de los cinco construidos durante la dominación islámica del centro de la península ibérica, a lo largo del camino que enlazaba Talamanca de Jarama con el Valle del Tiétar.
Esta vía, de carácter militar, formaba parte del sistema defensivo de la Marca Media, articulado por el poder andalusí para hacer frente a las avanzadillas cristianas durante la Reconquista.
Con la conquista cristiana de la Marca Media, el puente del Pasadero perdió su función militar y se convirtió en un paso obligado para las ganaderías que transitaban por la colada de Valdeyerno.
Estos están realizados en mampostería con cascote, mientras que el arco es de sillería.
En sus inmediaciones se encuentra el descansadero del Pasadero, así como dos molinos harineros de cubo, llamados Serrano y del Real Monasterio de El Escorial.