La biblioteca médica se formó inicialmente en 1973 mediante la fusión de varias instituciones mucho más antiguas.

Como resultado, es la biblioteca especializada más grande del mundo en sus cinco materias.

La biblioteca sobrevivió a la Segunda Guerra Mundial intacta y en 1949 la Fundación de Investigación Alemana (DFG) le otorgó la responsabilidad nacional de recopilar literatura médica en Alemania Occidental.

En 1963, la biblioteca tenía 250 000 libros y estaba suscrita a 1100 títulos de revistas.

Establecido formalmente en 1973, se le dio el mandato de adquirir material relevante en todos los temas e idiomas médicos.

En 1987, el edificio sufrió un incendio provocado que requirió una extensa remodelación, aunque ninguno de sus 300 000 elementos se perdió.

Los usuarios son principalmente estudiantes, médicos, científicos y clientes de la industria, aunque la biblioteca está abierta al público en general.

No hay ningún cargo por usar los edificios de la biblioteca o tomar prestados libros.

[5]​ La biblioteca también brinda acceso a sus colecciones a través de sus propios portales en línea para realizar búsquedas, leer el texto completo y solicitar copias impresas.

[7]​ ZB MED opera o participa en varias grandes iniciativas de acceso abierto.