En 1772 los condes de Altamira, poseedores ya de numerosos e importantes ducados, marquesados, condados, etc. encargaron al arquitecto Ventura Rodríguez la construcción de un fastuoso palacio en Madrid que iba a rivalizar con el mismísimo palacio real que este arquitecto había construido para el rey Carlos III, pero la alta nobleza del momento no veía con buenos ojos que se construyera un palacio muy superior a los que ellos poseían.De esta misma opinión era Carlos IV, que no podía consentir un palacio que rivalizase con el palacio real, por lo que obligó a Ventura Rodrígez a modificar el proyecto.[3] El palacio se terminó en 1887, por el arquitecto Mariano Belmás, notablemente empequeñecido,[3] pasando después por diferentes etapas y llegando hasta nuestros días en un estado poco saludable.[3] El condado de Altamira, junto a otros muchos títulos nobiliarios, ha estado unido a los apellidos Osorio y Moscoso durante más de cuatro siglos, desde el siglo XV en que se unieron definitivamente, hasta que en la primera mitad del siglo XX, se interrumpe la sucesión por línea de varón y pasan a ser ostentados por otras familias.En el caso concreto del condado de Altamira, esto se produce en 1936 con Gerardo Osorio de Moscoso y Reynoso, que es el último de dicho apellido, en ostentar el título, pasando a ser llevado por miembros de apellido Barón, en donde permanece actualmente.
