Huyendo del gobierno nazi, su familia se trasladó primero a Praga a finales de 1932, y luego a los Estados Unidos, en 1938; [5] su juventud la pasó en Nueva York, donde asistió a la Escuela de Gramática de Columbia.
Estudió en el MIT, donde se doctoró en 1962 con Jerrold Zacharias como director de tesis.
Enseñó en la Universidad de Tufts en los años 1960-62 y fue becario postdoctoral en la Universidad de Princeton en los años 1962-64.
Weiss también inventó el detector de ondas gravitacionales interferométricas, y cofundó el proyecto NSF LIGO.
Rainer Weiss ha sido premiado por sus contribuciones a la física en diversas ocasiones: Para el logro de la detección de ondas gravitacionales, en 2016 recibió: En el 2017: