Cuarto del Conde-duque de Olivares

En contraposición con el apartamento de su tío, el cuarto de Olivares tenía un carácter más austero, destacándose por su riqueza únicamente la galería.

Según cita Barbeito, en esta galería trabajaba el conde-duque normalmente, como lo demuestra el hecho de que al morir su hija única (julio de 1626) el cardenal Barberini, legado pontificio en Madrid para el bautismo fue a dar el pésame al Conde-Duque, según Cassiano dal Pozzo (miembro del séquito de Barberini):[2]​[El Conde-Duque] se encontraba en una estancia alargada que era más bien sala, al fondo de la cual estaba despachando negocios con el secretario Carnero.Tras esta muerte, a finales de 1626 el Conde-Duque mandaría comenzar las obras para convertir su aposento retirado (situado en el espacio más al norte, al oeste de su galería) en oratorio.

En concreto se localizaban en la mitad oeste de la crujía al norte del Patio de la Reina, y en el lado oriental de la crujía que continuaba hacia el norte la crujía central del alcázar (y que separaba los patios del Rey y de la Reina, y contenía la escalera principal y la capilla en el piso alto, así como la sacristía-relicario en el piso bajo).

El conde-duque contó en su cuarto o en las cercanías de este con jaulas en que mantenía aves (incluyendo las palomas de su preferencia).

Una de estas jaulas llegó a estar decorada por el pintor Angelo Nardi.

Vista aproximada del cuarto en una copia del Plano de Gómez de Mora en la zona inferior de la imagen se ve el patio de la Reina .