No obstante, su fallecimiento tan solo muy pocos meses después tendría consecuencias muy graves.
Su palacio, en concreto, nunca sería terminado como él quería, ya que de lo contrario habría sido uno de los jalones más significativos del tardo barroco regional.
En ella mandó construir un Palacio Episcopal para residencia de estos, durante sus estancias en la villa.
Desde su balcón se podía divisar el castillo, la feria y la vida de la localidad.
En 1760, el edificio estaba ya ocupado y, en 1770, según lo recogido en el Archivo Diocesano, lo ocupan alrededor de 40 personas entre clérigos, seglares, estudiantes y empleados.