Su término municipal está formado por localidades de Cuadrilleros de los Dieces, El Cerezo, Estacas, Estaquillas, Frades de Santa María, La Sagrada, La Samasa, Ledesma, La Vadima, Muchachos, Nóguez, Pelilla, Zorita, Aldeagutiérrez, Cuadrilleros, El Casar, La Riverita, La Samasita, Santa Marina, Santo Domingo y Zafroncino, las ocho últimas despobladas.

En su término predomina el paisaje natural adehesado, compuesto por extensas llanuras salpicadas de pequeñas elevaciones y el inicio de los desniveles que origina a su paso el río Tormes que, más adelante, llegando a Portugal, dan origen al espacio natural protegido del parque natural de Arribes del Duero.

Su estratégica situación, su fácil defensa y los evidentes restos arqueológicos existentes, indican que su primer asentamiento pudo haber sido un castro prehistórico.

La villa cuenta con un rico patrimonio arquitectónico y etnográfico, consecuencia directa de su largo devenir histórico.

Los vestigios más antiguos de un asentamiento regular en esta zona son del siglo VII a. C.: el cerro de San Martín, la parte más alta del casco histórico, cobija bajo el hormigón los restos del antiguo castro vetón junto con varias de sus viviendas.

Se trataba de una sociedad comunitaria basada en la recolección, la ganadería y la guerra.

De esta época es su nombre original, Bletisama, 'la llana en un alto' en la lengua prerromana; (Bletisma>Letisma>Letesma>Ledesma).

Los cristianos recogieron sus restos que han sido venerados hasta hoy día.

Se le otorga a la villa un importantísimo papel religioso, construyendo siete iglesias principales (Santa María, San Martín, Santiago, San Pedro, San Miguel, Santa Elena y San Polo) y posiblemente trayendo a la Villa a las monjas benedictinas (época expansiva del Císter por el Reino de León) que ocupaban el que hoy es monasterio de las MM.

A finales del siglo XIII la villa de Ledesma perteneció al infante Don Pedro, hijo del rey Alfonso X el Sabio y señor de Alba de Tormes,[3]​ Salvatierra, Miranda del Castañar, Galisteo,[4]​ y Granadilla, aunque también poseía toda la ribera del Río Coa y las villas de Sabugal, Alfaiates y Castelo Rodrigo, que actualmente se encuentran en territorio portugués.

Si a todo esto se suma que en 1641 se independiza el Reino de Portugal, anexionado a la corona hispánica de Felipe II en 1580, y comienzan una serie de guerras en las que un Portugal fortalecido avanzaba posiciones sobre una Corona, la de Castilla y León, extenuada y que debía ser el propio Consistorio ledesmino el que debía sufragar los gastos de las tropas contratadas y su manutención para hacer freno a un enemigo que penetraba en muchas ocasiones por las Arribes.

En 1812, una vez conseguida la victoria por las tropas aliadas de Inglaterra, Portugal y España, los franceses huyen de la Villa, pero para proteger su huida dinamitan el segundo arco del puente.

Es en esta época y a principios del siglo XX cuando se colonizan los terrenos de Santa Elena, Peña Pajar y la zona sur de San Pablo, doblándose la extensión original del núcleo urbano.

Con la década de los 50 y 60 y la apertura del régimen, la vida en Ledesma se vuelve más cómoda por la mecanización de las tareas agrícolas, las mayores libertades sociales, la enseñanza obligatoria, el aumento del sector servicios, el aumento del precio de los salarios, las inversiones franquistas e infraestructuras.

Lo que hoy observamos del edificio, a pesar de su grandiosidad es una mínima parte del esplendor inicial, se ha perdido toda la muralla (falsabraga) que cubría esta fortaleza en su parte de extramuros y, por la parte intramuros, se han perdido los accesos y torreones que la comunicaban con un edificio anexo, posiblemente un palacio.

Y fue desde la antigua puerta que se emplazaba en este mismo lugar desde donde su padre vio arder a su hijo entre las llamas.

Esto concuerda con lo referido por el Padre Morán que habla de cuatro antiguos verracos en la zona del puente.

El actual verraco fue hallado en la construcción de las Escuelas en 1957, en la parte meridional del castillo.

Su tronco es muy representativo por las dimensiones aproximadas a las de un cerdo natural y con sus atributos femeninos excesivamente marcados.

Es muy discutida su autenticidad o no, por tratarse de un resto anodino por estas tierras y por guardar similitudes con mojones usados para marcar los límites entre las propiedades agrícolas y ganaderas de la zona.

La parte más interesante del conjunto radica en la segunda planta, separada con una línea de imposta del piso inferior, presenta una balconada formada por cuatro arcos de medio punto sobre columnas dóricas en 1584 y cubiertas por vidrieras realizadas en 1889 por José Delclaux.

Su base románica de los últimos años del siglo XII son los restos más antiguos que se observan a simple vista.

Este puente conducía a un gran puente romano que cruzaba el río Tormes, hoy ya inexistente, sí se conservan las calzadas a ambos lados del río.

Posee en el centro varios escudos nobiliarios en piedra de Villamayor (Ulloa, Estrada, Cifuentes...), aunque lo que más destaca es que está coronada por los escudos de la Inquisición.

Su construcción se encuentra en el sur del municipio, en la zona de Peña Pajar.

Es la única iglesia que se ha conservado pura desde la época de la repoblación de finales del siglo XII aunque su construcción se debe alargar hasta el primer cuarto del XIII.

Toda la iglesia ha sido restaurada en 2009 por la Fundación del Patrimonio de Castilla y León.

En 1912 se decide ampliar la pequeña ermita y darle el doble de su capacidad, del arco toral de ladrillo que se observa en su interior hacia delante, y construir una sacristía anexa en su parte posterior.

Guardando similitudes entre sí, destacan sobre todo el de los Mesones y Santa Elena, enclavados sobre varios niveles de escaleras se encuentran sobre un fuste labrado coronado por bellas cruces que dejan sentir su estilo renacentista en su factura.

En la última década, y con el fin de potenciar la gastronomía del municipio, se ha organizado una feria dedicada a la gastronomía ledesmina y a sus diversos productos artesanos.