Pero como el mar tenebroso cuando se enfurece es traicioneramente imprevisible, naufragará cinco veces, la última frente al litoral brasileño.
Esta vez la suerte lo traicionará y lo llevará a lo más bajo de aquella sociedad indiana.
Pasa unos meses en el recinto insular antillano sometido a maltratos y vejaciones, sufriendo el confinamiento esclavista y realizando los más duros trabajos por un plato de comida; pero poco a poco va despertando la curiosidad de sus amos.
Fernández de Villalobos ya no era aquel arrapiezo que llegó a las Indias occidentales veinte años antes, ya no pasa necesidades como cuando estaba en su pueblo conquense; ahora tiene porte distinguido, viste con refinada elegancia, es excesivamente presumido y de exagerada ostentación; sus costosas joyas y sus fastuosos vestidos lo delatan.
Su ligereza y falta de tacto, frecuentemente lo llevaban a enconadas polémicas, ya que como le afectaba negativamente la poca libertad mercantil que entonces existía, habitualmente sostenía mordaces críticas hacia la errada política del restringido comercio que mantenía la Corona hispana; estas agrias controversias le llevaron a enfrentarlo abiertamente con el gobernador don Francisco Dávila y Orejón.
Carlos II, tomaría en sus manos los destinos del reino a la temprana edad de catorce años.
Atacado sin piedad, presionado por todos los flancos y amenazado de muerte por algunos miembros la nobleza, Villalobos tiene que escapar a Lisboa.
Temerosa la Corte hispana de que hiciera alguna revelación, es llamado nuevamente a Madrid.
Fernández de Villalobos había intimado con éste, ya que siempre respaldó sus apetencias y se verá favorecido con su influencia.
En repetidas ocasiones le son ofrecidas jugosas dádivas y abultados sobornos para que apruebe concesiones, licencias, negocios o proyectos presentados por codiciosos personajes, pero Gabriel Fernández de Villalobos no admite sucios ofrecimientos y fiel a su inquebrantable verticalidad, visiblemente ofendido rechazará todo regalo que le hacen.
Fernández de Villalobos, tampoco escapará a esta criba persecutoria, pues aunque el rey le demuestre afecto y lo tenga en cuenta en algunas misiones, sus enemigos irán tejiendo una poderosa telaraña de intrigas.
La hecatombe no se hace esperar, y se le aparta de todos sus cometidos, pierde el favor palaciego y el monarca firma un real decreto desterrando a Cádiz al incorruptible marqués.
Pero todavía le quedaban arrestos para escribir al nuevo rey de España Felipe V para aconsejarle sobre las cosas americanas.
Debido a sus dolencias y sufrimientos morales, se cree que murió ese mismo año en aquel hospital.