La pesca ha sido la principal industria en Ísafjörður, y la ciudad tiene una de las mayores pesquerías en Islandia.
Según el Landnámabók (el libro del establecimiento islandés), Skutulsfjördur fue habitada por Helgi Hrólfsson en el siglo IX.
En el siglo XVI la ciudad creció en tamaño debido a su establecimiento como un puesto comercial para los comerciantes extranjeros.
Estos incluyen Tjöruhús (finalizado en 1742), Krambúð (1761), y Turnhús (1744), que ahora contiene un museo marítimo.
Ubicada a menos de 50 kilómetros del círculo polar ártico, posee un clima oceánico subpolar, caracterizado por inviernos muy fríos y veranos frescos.
En Ísafjörður está la única universidad de los Fiordos del oeste, Menntaskólinn á Ísafirði.