[2]​ El palomar fue mandado a construir por Manuel Rivero González, conocido como El Pintado, en 1750.

Este empresario ayamontino tuvo que emigran a América siendo joven, donde amasó una fortuna con la que pudo adquirir propiedades y ordenar la construcción de inmuebles como el Molino de El Pintado.

[1]​ La finca, y con ella el palomar, permanecieron en manos de la familia Rivero-Solesio hasta inicios del siglo XX[3]​ En esos momentos tenía una población de unas 20 000 palomas, que fueron descendiendo de forma notable hasta su extinción en 1977.

La difícil adaptabilidad del inmueble a otros usos ha favorecido su conservación hasta su protección por parte de la administración.

[3]​ El interior del complejo se divide en nueve calles longitudinales con orientación norte-sur, atravesada en el centro y extremos por tres calles transversales en dirección este-oeste.