El edificio, uno de los monumentos más notables del barroco portugués, fue diseñado por el arquitecto italiano Nicolau Nasoni, quién, pese al declive y dificultades del terreno consiguió una escenografía perfecta junto al río Duero y el propio paisaje del entorno, donde se ubican los hermosos jardines en terrazas que hoy se pueden contemplar.
El palacio, de planta cuadrangular, cuenta con cuatro torreones en cada ángulo, cubiertos por tejados piramidales.
El arquitecto se inspiró en la propia escultura típica del barroco italiano donde abundan elementos acuáticos como algas, peces, líquenes, etc. Como cualquier edificio notable, el palacio do Freixo también sufrió modificaciones a lo largo de su historia.
Precisamente, el vizconde do Freixo hizo varias intervenciones, lo que vino a transformar su aspecto.
La chimenea está perfectamente integrada en el conjunto general del edificio.