A su interés artístico y monumental se le añade el histórico, ya que la basílica está ligada al pasado altomedieval de Armentia como sede episcopal.

El primitivo templo, de estilo románico, fue levantado en las últimas décadas del siglo XII, coincidiendo probablemente con la fundación de Vitoria en 1181; si bien se cree que en ese mismo solar se hallaba una anterior edificación religiosa del siglo VIII.

[1]​ En el tiempo en que se procedió a la edificación del templo románico, ya hacía un siglo que se había extinguido el antiguo Obispado de Armentia, que había surgido a finales del siglo IX, unas décadas después de la fundación del cercano Obispado de Valpuesta, en tierras occidentales alavesas y burgalesas.

Todo esto convirtió a Armentia en el centro espiritual más importante de Álava.

El templo fue reformado drásticamente entre 1773 y 1776, quedando trastocados sus elementos decorativos y arquitectónicos del siglo XII de tal manera que sólo se puede conjeturar, con pocas garantías de exactitud, el lugar que ocupaban en la primitiva fábrica.

En 1979 cambió la advocación del templo: tras estar dedicada durante mucho tiempo al apóstol San Andrés, la Basílica fue dedicada a San Prudencio, patrón de Álava desde 1698, y cuya festividad se celebra el 28 de abril.

En la campa exterior, junto a la cabecera, apareció toda una necrópolis, así como una sagrera o foso perimetral, barrera física que confería al templo primitivo, el que precedió a la edificación románica, un carácter de sagrado e inviolable.

Los arcos torales que definen el crucero son doblados, apuntados y presentan decoración de bolas.

Los pilares del crucero y, en un nivel más bajo, adosadas a las paredes, las robustas columnas pareadas que sostenían el desaparecido coro alto a los pies, así como las paredes interiores del ábside, presentan en sus capiteles decoración románica típica, consistente en temas vegetales, zoológicos e iconográficos, de delicada factura y ricos simbolismo y alegoría: pueden contemplarse acantos, aves de cuellos estilizados, esbeltos felinos enfrentados y opuestos, grifos, jinetes luchando contra centauros entre tallos, fieras cebadas en sus presas, monstruos devorando a seres humanos, torturantes mascarones de fauces abiertas, etc.

El ábside, semicircular y de perfecta sillería, está recorrido a media altura por una imposta ajedrezada.

Los capiteles que decoran los vanos absidales son de tosca hechura y no ofrecen interés.

[2]​ Aparecen enmarcados por arcos apuntados que descansan en figuras muy estilizadas, con las cabezas mutiladas, a modo de cariátides.

En cuanto a la talla en madera, viene representada por un grupo escultórico en relieve policromado con el motivo de Pentecostés, del siglo XVI, expresivo trabajo del Renacimiento manierista atribuible al círculo de Alonso Berruguete.