Durante su gobierno tuvo grandes disgustos con los vecinos de Cartago.
Un grupo dirigido por el escribano José Prudenciano de Peralta y don Domingo Boniche urdieron un plan para asesinarlo, que fracasó y que dio lugar a que se iniciara un proceso a principios de 1759.
El teniente del valle de Matina José Galiano les concedió licencia para desembarcar y vender sus mercaderías, a cambio de 900 pesos.
El clero, que antes había apoyado a Soler, se puso de parte de sus enemigos, y se produjeron graves enfrentamientos cuando el gobernador quiso sacar al escribano Peralta del convento de San Francisco, donde se había refugiado.
Después se marchó súbitamente hacia la población de El Viejo, donde a principios de junio protagonizó lamentables episodios que hacían evidente que había perdido la razón.