Según Diego Páez de Clavijo, Góngora murió "pocos días después que le cargaron unas calenturas o pesadumbres causadas por las calumnias", esto es las acusaciones de promover el contrabando a gran escala.
En efecto, excluyendo a Hernandarias casi todos los gobernadores y funcionarios estuvieron comprometidos en mayor o menor grado con el llamado contrabando ejemplar.
En la época los principales contrabandistas (se los denominaba Confederados) eran el sevillano Juan de Vergara, notario del Santo Oficio, y el portugués Diego de Vega, que con Góngora se convirtieron en los verdaderos dueños de la ciudad.
Más allá del evidente comportamiento delictivo, el contrabando en Buenos Aires tenía motivaciones económicas profundas, originadas en las restricciones al comercio por parte de la Monarquía que favorecían los intereses de la península y en segundo lugar de Lima, en perjuicio del Alto Perú y Buenos Aires.
Góngora evadió el arresto, refugiándose en casa de los jesuitas hasta su muerte, a la que ayudó el tratamiento con arsénico y la insistencia de los frailes que lo protegían en expulsarle un demonio del cuerpo.