El Castillo de Escarlá era el castillo medieval, de época románica, del pueblo de Escarlá, perteneciente al término municipal de Tremp, en la comarca de Pallars Jussá perteneciente a la provincia de Lérida.
Sus restos están situadas al oeste de la roca que alberga la antigua parroquial de la iglesia parroquial de San Juan de Escarlá.
No se debió tratar nunca de un gran castillo, más bien habría que pensar en una torre de vigía o castillete de avanzada del castillo de Espills, donde tenía su sede el señor de estos valles.
Quedan sólo algunos vestigios.