[1]​ La biblioteca se erigió en época de Trajano, probablemente entre los años 94 y 102.

Conocemos a su fundador, Flavio Panteno, por la inscripción que figuraba en el dintel de la puerta[2]​ y que se ha encontrado incorporada a un muro defensivo de época posterior.

La stoa norte fue reconstruida, en el siglo V, como parte de un nuevo gran edificio de dos pisos, mientras que la stoa occidental se incorporó a la muralla romana tardía.

Por el lado oeste del edificio pasaba la Vía Panatenaica y por el norte la calle que conducía del Ágora antigua al mercado de César Augusto o Ágora romana.

El edificio consta de una gran sala cuadrada y un patio pavimentado, rodeado por tres estoas que tenían tiendas detrás de sus columnas.