El edificio anejo, de mayor altura, conocido como palacio Barbaro, constituye una ampliación del anterior.
[2] En la segunda mitad del siglo XIX, después de que la familia Barbaro decayese y se empobreciese, los dos edificios se vendieron y pasaron en 1885 a manos de la familia Curtis-Conte, una estirpe culta y refinada originaria de Boston, cuyos ancestros llegaron a América en el Mayflower,[3] que los rehabilitaron.
[2][3] En la propiedad reformada, los nuevos propietarios recibieron a literatos y otros artistas como Robert Browning, John Singer Sargent, Isabella Stewart Gardner, Henry James (que durante una de sus largas estancias en el palacio escribió Los papeles de Aspern) y Claude Monet con su esposa Alice.
La fachada sigue un esquema, cuyo máximo exponente es Ca' Bernardo en San Polo, con dos portales abiertos a nivel del agua, uno con arco ojival y el otro rectangular con un arco de medio punto sobre dintel.
Las dos plantas nobles disponen políforas de cuatro aberturas en posición central con arcos apuntados y balcón, a las cuales se añaden dos monóforas a cada lado enmarcadas en perfiles de piedra cuadrangulares.