Se encuentra situado en el extremo noroccidental de la provincia.

Debido a situación geográfica, los alrededores del municipio son montañosos.

Cantalojas se encuentra bañado por los ríos Lillas y Zarzas, que poco más abajo, cuando se encañonan, pasan a ser conocidos como el río de La Hoz, a la vez afluentes del río Sorbe, dan lugar a parajes pintorescos, algunos de ellos de difícil acceso.

Cercano al pueblo, sobre una eminencia del terreno que preside el cauce hondo del Sorbe, en el lugar que se le conoce por El Castillar, quedan los maltrechos restos de un castillo, que en Cantalojas se atribuye a los moros, y que sin duda fue, en principio, castro ibero y, posteriormente, aprovechado para colocar una torre vigía y un pequeño reducto militar en la Edad Media, vigilando el paso frecuente de gentes por esa zona de comunicación entre ambas mesetas.

[3]​ Estas ruinas se corresponde con el castillo de Diempures que se menciona en el Fuero de Atienza en el siglo XII como lugar límite entre territorios forales y comunales de Atienza y Ayllón.

[5]​ Hacia mediados del siglo XIX el lugar tenía contabilizada una población de 304 habitantes.