La residencia fue diseñada por el arquitecto Irlandés James Hoban en estilo neoclásico.Ocho años más tarde, en 1909, el presidente William Howard Taft amplió el Ala Oeste y creó la primera Oficina Oval, que finalmente fue trasladada y ampliada.Un Ala Este recién construida se utilizó como área de recepción para eventos sociales.Las modificaciones del Ala Este se completaron en 1946, creando un espacio de oficinas adicional.Durante el segundo día de estancia le escribió una carta a su esposa Abigail, que contenía una oración para la casa.Adams vivió en la casa poco tiempo, y pronto fue ocupada por el presidente Thomas Jefferson, que planeó agrandar la residencia.Esto es infundado, dado que el edificio ya había sido pintado de blanco desde su construcción en 1798.Algunos también se quejaron por la situación de la Casa Blanca, justo al norte de un canal y unos pantanos, que constituían las condiciones idóneas para contraer la malaria y otras enfermedades.[2] Se pidió al general de brigada Nathaniel Michler proponer soluciones para tratar estos problemas.[2] Este propuso abandonar la Casa Blanca como residencia, y utilizarla solamente como despacho; propuso un nuevo palacio para la primera familia, en Meridian Hill Park en Washington,[2] pero el plan fue rechazado por el Congreso.En 1891, la primera dama Caroline Harrison propuso ampliaciones a la Casa Blanca, que incluían un Ala Nacional en el este para una galería de arte, y un ala en el Oeste para actos oficiales.[2] En 1901, Theodore Roosevelt y su gran familia se trasladaron a la Casa Blanca, que la encontraron demasiado pequeña.[2] Tres arquitectos, McKim, Mead & White, fueron contratados para realizar renovaciones y su ampliación, incluyendo el ala oeste.[2] Hacia 1909, el presidente William Taft requirió más espacio por lo que emplearon al arquitecto Nathan C. Wyeth para añadir más espacio en el Ala Oeste, que incluyó la instalación del Despacho Oval.El presidente Truman había mandado conservar las vigas originales de madera.Muchas de las antigüedades, pinturas y otras mejoras del período de Kennedy fueron donadas a la Casa Blanca por mecenas ricos, incluyendo la familia Crowninshield, Jane Engelhard, Jayne Wrightsman, y la familia Oppenheimer.El ala oriental alberga las oficinas de la primera dama, y su Secretario Social, también reciben la correspondencia personal, y otros miembros del personal de la Casa Blanca tienen oficinas aquí.Muy poca gente se da cuenta del verdadero tamaño de la Casa Blanca, ya que buena parte de ella se encuentra distribuida en los subterráneos, y a esta la tapan los árboles del jardín.
La Columnata Oeste de Jefferson se ve a la izquierda de la residencia en este grabado del siglo XIX. Originalmente ayudaba a encubrir un establo y un lavadero. Posteriormente se convirtió en la piscina del presidente
Roosevelt
. El presidente
Nixon
convirtió el lugar en la actual sala de prensa.
Reconstrucción Truman, 1949-1952. Primero fueron desmontados y almacenados la madera y vigas, luego se construyó una estructura de acero dentro de las paredes originales. Los espacios interiores, con la mayor parte de la decoración y piso originales, fueron reconstruidos dentro de la nueva estructura.
El Cuarto Rojo
diseñado por Stéphane Boudin durante la administración de
John F. Kennedy
en el estilo Imperio Americano.