Tuvo un hermano, Francisco de Olivares, que sepamos hasta el momento.
Años más tarde contrajo matrimonio con la jerezana Matilde Valcárcel Baeza en 1773 y tuvo varios hijos: Vicente Antonio, Sabina, Andrés, Vicenta María, Miguel Bartolomé y Miguel Pedro.
Como los cortes de la piedra no eran "arreglados al arte", según el cabildo, se pidió a la Academia que enviase un arquitecto.
Manuel Machuca y Vargas fue nombrado Director principal, quien dejó a Olivares para la ejecución de los trabajos.
La decoración exterior se distribuye en dos órdenes: las tres plantas inferiores con paramento almohadillado y las dos restantes agrupadas por un orden gigante de pilastras jónicas con guirnaldas, que se peraltan sobre podios.