El archipiélago fue descubierto oficialmente en 1873 por la Expedición austrohúngara al Polo Norte, dirigida por los exploradores polares Payer y Weyprecht, que las nombró en honor del emperador austriaco Francisco José I.

Como la expedición no era oficial, sino costeada por fondos privados, estas islas nunca han sido parte de Austria.

En 1926 las islas fueron anexionadas por la Unión Soviética y solo recibieron unos pocos habitantes que formaban parte de expediciones científicas o militares.

El acceso por barco solo es posible durante unas pocas semanas de verano y requiere un permiso especial.

Voyéikov (1842-1916) planteó la cuestión de organizar una gran expedición para explorar los mares polares.

No se sabe si tomaron tierra y las nuevas islas fueron pronto olvidadas.

El archipiélago fue descubierto el 30 de agosto de 1873 por la Expedición austro-húngara al Polo Norte, liderada por Karl Weyprecht y Julius von Payer, cuando su goleta a vapor, el Tegetthoff quedó bloqueado en el hielo mientras intentaban encontrar la Ruta del Mar del Norte.

A los viajeros austriacos se les dio una tierra recién descubierta con el nombre del emperador austro-húngaro Francisco José I.

Dado que durante el viaje el mar se cubrió de hielo, la expedición no pudo encontrar una gran cantidad de estrechos, puesto que el archipiélago parecía estar formado por varias grandes islas.

En 1881 y 1882, respectivamente, visitó el archipiélago el explorador escocés Benjamin Leigh Smith en el barco Eira.

En el verano, la expedición en botes navegó hacia el sur y fue rescatada por los barcos que los buscaban.

En los esos tres años realizaron un trabajo importante para perfeccionar los mapas, con investigaciones geológicas, botánicas, zoológicas, meteorológicas en las zonas sur, centro y suroeste del archipiélago.

[7]​ En 1895, sin saber nada de la expedición Jackson-Harmsworth, los exploradores noruegos Fridtjof Nansen y Hjalmar Johansen se acercaron al archipiélago desde el norte, al regresar de su famoso viaje, Expedición Fram, durante el cual intentaron conquistar el Polo Norte.

La nueva isla, descubierta por Nansen en el norte del archipiélago, que confundió con dos islas separadas, recibió el nombre doble de Eve y Liv en honor a su esposa e hija.

En 1914 el navegante ruso Valerian Albanov y un tripulante, Alexander Konrad, únicos sobrevivientes de la nefasta expedición (1912-1914) de Georgy Brusilov, habrían llegado a cabo Flora en la isla Northbrook, donde sabían que Nansen había dejado provisiones y había construido una cabaña en su anterior expedición ártica.

Albanov y Konrad fueron rescatados a tiempo por el buque Saint Foka de Georgy Sedov, mientras se estaban preparando para el invierno.

La expedición nunca llegó a Tierra de Francisco José debido a las duras condiciones del hielo, y en espera de mejores condiciones, fueron superados por el rompehielos soviético Georgij Sedov.

Allí dejó 300 kg de correo conmemorativo y se encontró con el rompehielos Malyguin.

Durante los años de la Guerra Fría, las regiones polares pasaron a ser ubicaciones estratégicas.

Se construyó un aeropuerto en Graham Bell para su uso como base para los bombarderos rusos, y se realizaron a menudo misiones de entrenamiento entre la Tierra de Francisco José, el continente y Nueva Zembla.

El archipiélago está a solo una distancia de entre 900 a 1110 km del polo norte, más cerca que cualquier otra masa de tierra exceptuando la isla Ellesmere canadiense y Groenlandia.

A menudo se avistan ballenas beluga emergiendo en la superficie del agua circundante.