Su titularidad corresponde a la Comunidad de Madrid, que permite su visita, previa cita.La fortificación primitiva pudo tener un activo papel repoblador a partir del año 1085, año en el que Buitrago del Lozoya pasó a manos cristianas.Consta de siete torres, que presentan formas variadas (cuadradas, rectangulares y pentagonales), construidas enteramente en piedra.Estaba rodeado por un foso, integrado dentro del recinto amurallado donde se encuentra enclavado.Todas las torres son macizas hasta el nivel del adarve, excepción hecha de la pentagonal.
