El pueblo se alza a 923 metros sobre el nivel del mar.

El 21 % de su término (142,43 hectáreas) queda afectado por la ZEPA Sabinares del Arlanza, donde destacan las siguientes especies: buitre leonado (Gyps fulvus) y alimoche (Neophron percnopterus).

En Cascajares de la Sierra había paso y actividad humana desde tiempos prehistóricos, pero se empieza a tener constancia de poblamiento en la Alta Edad Media, cuando Cascajares pertenecía al Alfoz de Lara y supuestamente se produjo en ella una batalla entre moros y cristianos, en la que vencieron estos últimos.

Los primeros documentos que citan a Cascajares son del 1052, nombrándolo como una zona donde se daba mucho el cascajo.

La victoria se recuerda en la copla siguiente: La rota de Cascajares / es argumento evidente / que vale más poca gente / con Dios, que sin Dios millares.