Los hermanos Félix, José y Hermenegildo Ortiz de Taranco llegaron a Uruguay a fines del siglo XIX, adquirieron el terreno con las ruinas del Teatro San Felipe y encargaron la construcción de su residencia personal a los arquitectos franceses Charles Louis Girault (autor del Petit Palais en París) y Jules León Chifflot en 1907.

[2]​ Los arquitectos enviaron 72 planos manuscritos y una serie de 29 acuarelas con indicaciones para la ornamentación.

Todo el alhajamiento interior fue realizado por la Maison Krieger de París y aprobada por los arquitectos.

La planta alta, destinada a habitación, estaba compuesta por tres apartamentos independientes.

[2]​ En esta residencia tuvo lugar la firma del Acta de Montevideo en 1979, con la cual se logró la mediación papal que solucionó el diferendo fronterizo entre Argentina y Chile por el Canal de Beagle.