El pueblo se encuentra sobre el río Lanza en el hito fronterizo con Perú, [1] dentro del parque nacional Madidi.
[2] Entre algunos productos que cultivan los habitantes de San Fermín están el café, la yuca, plátanos y otros, principalmente para consumo propio.
[1] Los pobladores indígenas de la zona pertenecieron a los pueblos ese'ejja y toromonas.
[2] Entre 1907 y 1913, San Fermín fue una barraca cauchera de la empresa inglesa The Tambopata Rubber Syndicate y a ella se podía llegar desde la localidad de Apolo por una senda, descrito así por el explorador británico Percy Harrison Fawcett en sus memorias.
[1] Actualmente los pobladores de Puerto San Fermín se dedican a la producción del café junto a la localidad boliviana de Cocos Lanza y otras localidades peruanas cercanas, con el apoyo del proyecto Apoyo al Desarrollo de la Cadena Productiva Transfronteriza del Café Perú-Bolivia.