Un año antes de su muerte en 1987, Rustin dijo: "El barómetro para saber cómo se está respecto a los derechos humanos no es la comunidad negra, es la comunidad gay.
Du Bois y James Weldon Johnson eran frecuentemente invitados en casa de la familia Rustin.
Con estas influencias en su infancia, Rustin luchó contra la discriminación racial impuesta mediante las leyes Jim Crow en su juventud.
Comenzaron a planear una marcha sobre Washington para protestar contra la discriminación racial en las fuerzas armadas, pero la marcha fue cancelada porque el presidente Franklin D. Roosevelt puso fin a la discriminación en las industrias bélicas.
En 1947 organizó en Carolina del Norte los primeros viajes por la libertad para protestar contra la segregación en los autobuses.
Al año siguiente, Rustin y King comenzaron a organizar la Southern Christian Leadership Conference (SCLC).
En aquella situación, en 1963, el senador por Carolina del Sur, Strom Thurmond habló durante tres cuartos de hora en el Senado sobre Rustin atacándole diciendo que era un "comunista, prófugo y homosexual" y presentó una fotografía del FBI donde Rustin hablaba a King mientras éste estaba en el baño, indicando que entre los dos existía un relación homosexual.