El palacio, en la segunda mitad del siglo XIX hubo un café, luego un teatro e imprenta.[4] Este recinto irregular e inclinado (pendiente provocada por el barranco del desaparecido arroyo de San Pedro por cuyo cauce pasa la calle de Segovia) está definido por tres conjuntos de interés histórico-artístico, tanto religiosos como civiles.La capilla del Obispo aparece adosada al complejo parroquial de la iglesia de San Andrés, aunque sin acceso directo al mismo.Junto a la capilla, en el lado oriental del recinto, se alza el palacio de los Vargas, también del siglo XVI, pero cuya fachada fue transformada en el siglo XX, adoptándose una solución historicista y como prolongación de la capilla del Obispo, de forma que ambos conjuntos muestran idéntica fachada.Al inicio del siglo XXI se urbanizó este espacio con un parque de tierra prensada con algunos árboles dispuestos en cuadrantes y delimitados por bordillos de granito, conjunto que permite salvar el desnivel del terreno.
