En el siglo XVIII, cuando se construyó al lado la posada La Estrella, la casa fue objeto de una transformación.
Este cegamiento se habría realizado entre 1840 y 1860 para dar mayor estabilidad al edificio.
Durante esta remodelación se recuperaron elementos característicos de la arquitectura del edificio.
La teoría más aceptada es que pertenecen a la familia noble de Barbeito y Padrón, propietarios del pazo.
Estos medallones con efigies o caras de piedra dan origen al nombre popular del edificio.
En la fachada lateral hay un balcón que se prolonga hasta adaptarse a la calle Figueroa.
Bartolomé, hijo de Juan Barbeito y Padrón, fue nombrado Gran Inquisidor en 1678.