Ha jugado desde niño en las categorías inferiores del San Lorenzo de Almagro.

Un allegado al club firmó en los formularios pertinentes para obtener el documento de identidad, y así Rubén fue jugador del Ciclón junto con su amigo "Cacho" Heredia, desde entonces y hasta 1968, año en el que pasó a formar parte de la primera plantilla.

Con el Atlético de Madrid ganó una Liga y una Copa del Rey.

Además consiguió un subcampeonato de la Copa de Europa, aunque Ayala no pudo jugar la final que su equipo perdió contra el Bayern Múnich por estar sancionado.

La frase que, mirando a la lente de la cámara, pronunciaba, con su voz aflautada, mientras entrenaba en el estadio Monumental de River Plate, el Ratón Ayala (“En Europa no se consiguen”), se ha hecho proverbial en su país.

Su debut como internacional se produjo en 1969 en un partido contra Corea del Norte.