La casa tuvo su origen en una rama secundaria de la casa de Medina Sidonia, desvinculada de la principal a principios del siglo XVI.Sus señoríos jurisdiccionales eran Olivares, Heliche, Albaida del Aljarafe, Camas, Castilleja de Guzmán, Castilleja de la Cuesta, Salteras y Tomares.Su miembro más destacado fue Gaspar de Guzmán y Pimentel, conocido comúnmente como "conde-duque de Olivares", valido del rey Felipe IV de España.[1] A la muerte del conde-duque sus propiedades se dividieron entre su hija legítima y su hijo ilegítimo, recibiendo la primera el mayorazgo de la casa de Olivares mientras que el segundo recibió los señoríos y títulos que el conde-duque obtuvo en vida, conocidos como casa de Sanlúcar la Mayor, que más tarde pasó a los condes de Altamira.[2][3] El condado de Olivares es el título nobiliario español que el rey Carlos I concedió en 1539 a Pedro Pérez de Guzmán y Zúñiga, hijo del iii duque de Medina-Sidonia y contador mayor del rey.
El conde-duque de Olivares, retratado por
Velázquez
.
