Fourth fue definido por la revista Rolling Stone como "inferior y al mismo tiempo superior a Third"[2] en una reseña contemporánea.
Al igual que su antecesor, fue una gran influencia en bandas avant-prog como Henry Cow.
El disco fue aclamado por la revista 34th Street en septiembre de 1971, considerándolo un paso adelante en la evolución del rock.
En este álbum hace muy complejas experimentaciones con contrapunto, modalidad, combinando bajo eléctrico y acústico y la sensación de que es raramente fácil de entender pero siempre interesante e innovador.
A menudo el grupo presenta un jazz al estilo Coltrane llevado un paso adelante de esta de por sí avanzada forma musical, combinando pasajes solistas y añadiendo invitados en doble bajo, corneta, trombón, saxo tenor, clarinete bajo y flauta.