Buitrago del Lozoya fue en sus orígenes una ciudad celtíbera y romana, pasando siglos después a manos musulmanas.
Las referencias históricas más antiguas respecto a Buitrago datan del siglo I a. C. (sería la Litabrum conquistada por Cayo Flaminio, según Tito Livio), pero no hay ningún vestigio material que lo avale, ya que no se han hecho prospecciones arqueológicas.
Su valor estratégico es la razón de su pronta repoblación por medio de un privilegio otorgado por el mismo rey que facultaba a la Villa para repoblar los núcleos existentes en su jurisdicción y crear otros nuevos.
De ese modo, en 1096, el rey Alfonso VI concede a Buitrago las armas de su escudo consistentes en un toro, una encina y la leyenda Ad alenda pecora ("para el sustento del ganado"), que en definitiva hace referencia al medio de vida que se iba a adoptar.
Su recinto amurallado tuvo desde antiguo barrios "extramuros", denominados arrabales de San Juan y del Andarrío, nombre que hacía referencia a su situación al otro lado del río Lozoya.
Del rollo o picota, símbolo de la jurisdicción, no ha quedado rastro alguno.
En el arrabal del Andarrío se encontraba la iglesia de San Antolín.
Figura la villa en la guerra civil de Pedro I y su hermano Enrique II, quien la ocupó el año 1368.
Los tributos, pechos, derechos y alcábalas se hicieron cada vez mayores, en perjuicio de la Comunidad.
En su ángulo occidental, un robusto y fuerte torreón da paso a la villa amurallada.
El castillo ocupa la esquina sudeste de la muralla, siendo algo más moderno que ésta.