Su obra más conocida es el Yale Art and Architecture Building, un edificio de hormigón diseñado usando un estilo brutalista.

Rudolph también diseñó la Riverview High School, siendo este su primer proyecto a gran escala.

Las casas que Rudolph diseñó en Florida atrajeron la atención de la comunidad arquitectónica y empezó a recibir comisiones para edificios más grandes tales como el Jewett Art Center del Wellesley College.

Rudolph permaneció en Yale durante seis años, después de los cuales se dedicó a la práctica privada.

Posteriormente, diseñó el Government Service Center de Boston, la First Church in Boston, el campus principal de la University of Massachusetts Dartmouth (inicialmente conocida como el Southeastern Massachusetts Technological Institute) y el Dana Arts Center en la Universidad Colgate.