Sin embargo, su esposa Elizabeth "Lizzie" Fry y sus cuatro hijos vivieron allí durante todo el año habitualmente.

[6]​ Su sueño era la construcción del Palace Hotel en San Francisco, en la esquina de New Montgomery y Market.

Gastó cinco millones de dólares en su construcción, debilitando su imperio bancario en el proceso.

El colapso se produjo pocas semanas antes de la apertura del Hotel Palace.

Su socio, el senador estadounidense William Sharon, adquirió muchos de sus activos, incluidos el Palace Hotel y Ralston Hall.