El primer cuerpo (siglo XVI) destaca porque su primer nivel está cubierto de pequeñas ventanas y aspilleras, de función defensiva, mientras que el segundo cuerpo (siglo XVIII) ya tiene una ventana amplia en su planta baja.Al segundo cuerpo se adosa, en una sola planta a dos alturas, una capilla alargada, iluminada parcamente mediante dos aspilleras situadas en lo más alto del alzado y un ventanuco.Aunque la torre fue construida a finales del siglo XII o durante el siglo XIII, fue muy reformada posteriormente, y es una de las abundantes torres medievales de los valles del Saja y del Nansa;[3] las reformas de los siglos XV y XVI la convirtieron en una casa fuerte, transición entre la torre medieval y la casona montañesa.[5] La familia, que aquí amplió el apellido con la Barca, celebraba mercado y fiestas preparadas por los lugareños del Lugar de Bibeda (actual Viveda).[6] Es así que a la familia le interesaba tener una fortificación donde refugiarse desde antiguo.
Fachada del primer cuerpo del palacio. Detrás se distinguen las almenas de la torre
