[2] La tradición reconoce a san Caprasio y a san Vicente como los primeros obispos de Agen; sin embargo ninguno de ellos es recordado como obispo en el martirologio romano.
El primer obispo históricamente documentado fue Febadius, quien en 357 escribió una obra contra los arrianos y en 359 participó en el Concilio de Rímini.
Un período de grave decadencia, provocado por la expansión del Ducado de Vasconia, los conflictos entre francos y aquitanos y las invasiones normandas, provocaron la decadencia de la diócesis, cuya existencia entre los siglos VII y X es incierta.
A partir del obispo Gombaud, la diócesis pudo renacer, convirtiéndose en la sede de numerosas instituciones monásticas y abaciales.
En el siglo XII se construyó la Catedral de San Caprasio en el lugar de una antigua basílica construida en el siglo VI y saqueada por los normandos en el año 853.