Pero, en realidad, nada se sabe de su existencia hasta el año 1085, donde aparece entre los pueblos que Alfonso VI ganó a los moros.

Habiendo pasado más tarde al dominio de Aragón, cuando este declaró la guerra a Juan II de Castilla, Olmedo se alió con Juan II, siendo severamente castigada.

En 1467 fue corte del infante Don Alfonso, levantado en armas contra Enrique IV, y el 20 de agosto se trabó junto a Olmedo una batalla en la que el bando alfonsino venció, pero no llegó a entrar en la ciudad, la cual, al año siguiente, pasó a poder de la princesa que había de ser Isabel la Católica.

Felipe V, el primer Borbón rey de España, concede un privilegio a Olmedo, que es firmado después por sus sucesores.

Entre 1884 y 1993 el municipio estuvo enlazado con la red ferroviaria a través de la línea Segovia-Medina del Campo, contando con su propia estación.