Rivera Lema, su padre, médico rural y militante de Acción Nacional durante la Segunda República, se trasladó al poco tiempo a Toledo, llevando consigo a su familia, donde sus hijos Antonio y el más pequeño José llegarían a convertirse en conocidos personajes de la ciudad, éste como sacerdote dedicado a los pobres y aquel como laico comprometido.
Fue a Roma en el Jubileo del año santo de 1934.
Una vez iniciada la Guerra Civil, el 21 de julio de 1936 se unió a los sublevados en el Alcázar de Toledo, donde participó en acciones militares y alentó a los combatientes.
Su beatificación fue solicitada a la Santa Sede.
Hay escritos varios libros que relatan los hechos de Antonio Rivera en su lucha en Toledo.