Carolan contrató a Willis Polk, un distinguido arquitecto por derecho propio, con sede en San Francisco, para que fuera el diseñador estructural y gerente de construcción, y le indicó que ejecutara fielmente los diseños de Sanson.[5] En el otoño de 1916, Harriett y Frank Carolan se mudaron con su personal doméstico.Dos años más tarde, Harriett se casó con el coronel Arthur Schermerhorn, y como la pareja solo ocasionalmente ocupaba Carolands, en 1928 Harriett quitó sus muebles y puso la propiedad a la venta.El gobierno de los Estados Unidos consideró comprar Carolands para usarlo como Casa Blanca Occidental en 1939,[6] y nuevamente durante la administración Kennedy, pero en ambas ocasiones se negó a comprar.[7] Para 1950, había dividido gran parte del terreno restante en parcelas más pequeñas y comenzó a contemplar la posibilidad de demoler la casa.[10] La condesa legó la casa y los restantes 236 00 m² a la ciudad de Hillsborough para ser utilizado como centro musical, artístico y literario francés e italiano,[11] pero no pudo incluir una donación.En 1976, el Dr. Selwyn McCabe ganó la casa en una subasta de sucesiones, pero se negó a comprar, pasando al siguiente postor, Rose 'Roz' Franks.En ese momento, cineastas para adultos obtuvieron acceso al sitio donde produjeron la película de 1982 All American Girls.[14] Apenas recuperaron la consciencia, se las arreglaron para salir del barranco y pedir ayuda a un automovilista que pasaba, pero la más joven murió poco después incapaz de superar la pérdida de sangre por la decena de puñaladas recibidas durante la terrible experiencia y la hipotermia posterior al pasar la noche al raso.Ann Johnson, quien más tarde compraría Carolands, y su decorador de interiores, Mario Buatta, quien la ayudaría a restaurarlo.[11] Johnson llevó a cabo amplias renovaciones: reparación de los sistemas mecánicos; eliminación del amianto; reemplazo del techo; y restaurando meticulosamente los acabados interiores, para devolver la casa lo más posible a su estado original.Su propósito principal al comprar y renovar Carolands era preservarlo para las próximas décadas.[20] En 2012, los Johnson donaron la casa a la Fundación Carolands, que organiza recorridos en grupos pequeños sin cargo, como se describe en su sitio web.
Gran escalera (desde el primer nivel), por Boucher para HABS en agosto de 1974.