Ingresó enseguida al comité central de dicho partido, que lo designó adjunto ante la Junta Electoral Nacional en 1904.

En 1901 había sido elegido diputado por la provincia de Cotabambas,[2]​[3]​[4]​ representación en la que se mantuvo durante doce años consecutivos.

En esa Convención se impuso finalmente la candidatura del civilista José Pardo y Barreda, que ganó las elecciones presidenciales de 1915.

En 1917, al vacar su diputación por Cotabambas, Rafael postuló a la reelección en las elecciones complementarias de dicho año.

Grau emprendió una gira proselitista por los pueblos de Cotabambas (Apurímac), lo que hizo temer a sus amigos y parientes, especialmente su hermano Miguel Grau, de que pudiera sufrir un atentado contra su vida.

Sin embargo, pronto se alzaron muchas voces acusando del crimen al gobierno de José Pardo.

Rafael Grau se casó con María Elena Price Argumaniz, con quien tuvo seis hijos: