Estuvo poblada por íberos, romanos y árabes, pero su importancia histórica la alcanzaría en la Edad Media.En el siglo XII existía el castillo del Tormón que quedó abandonado durante el reinado de Alfonso VII, edificándose en su lugar una iglesia donde la tradición popular indica como lugar de aparición de la Virgen del Castellar.Junto con estas dos encomiendas existía la de Villoria, a la que pertenecían el ejido de Alboer, San Bartolomé, Villoria, Villahandín y la Dehesa del Castillo.Se cree que Villoria se despobló por la falta de agua dulce y en el siglo XVI aún existían algunas casas y su iglesia.En 1712, Villarrubia contaba con 189 vecinos, creciendo a lo largo de este siglo la población hasta 521 que se censan en 1787, lo que hace un total aproximado de 2086 habitantes.A mediados del siglo XIX, el lugar contaba con una población censada de 1946 habitantes.
