Adquirido por la familia Aldobrandeschi, se transformó en fortaleza aldobrandesca a mediados del siglo XIII, y se convirtió en su residencia, así como en la sede institucional de Pitigliano.
La propia familia Orsini encargó a Antonio da Sangallo il Giovane llevar a cabo una serie de remodelaciones que, además de fortalecer aún más las estructuras existentes, dieron un aspecto elegante a todo el complejo, introduciendo elementos característicos del arte renacentista.
La entrada se realiza a través de una primera rampa que conduce a un pórtico de arco redondo, más allá del cual hay otra rampa corta que da acceso al patio interior, donde se encuentra la cisterna de un característico estilo renacentista, en que se encuentra la logia.
Se enfrenta a un lado, con arcos redondos que descansan sobre columnas con capiteles jónicos.
En el lado opuesto, otra escalera conduce a la entrada al Museo Arqueológico.