El asentamiento de Barbacena fue reconquistado definitivamente por el rey Sancho II, en la primera mitad del siglo XIII.
[1][2] El primer foral fue firmado por su nuevo maestro en 1273,[2] aun en el reinado del rey Afonso III.
Juan Fernandes Pacheco, que era partidario del Maestro de Avis, perdió este y otros señoríos por traicionar al rey y Barbacena fue entregado a Martim Afonso de Melo.
[1] En esta época, el castillo ya estaba erigido, siguiendo un trazado rectangular, en el lugar de un proyecto medieval anterior.
[1][2] En esta época se construyó la entrada principal, que incluía un pórtico de piedra y un frontispicio con pináculos esculpidos.
[1][2] En 1645, las fuerzas castellanas asaltaron el castillo y en 1658 la guarnición se vio obligada a rendirse al duque de Osuna.
[1][2] Todavía se puede ver la Casa del Gobernador, una residencia nobiliaria, con escalera central y vestigios de una capilla en el piso superior.