Su padre había sido un objetor de conciencia durante la Primera Guerra Mundial.
Baxter declaró que comenzó a escribir poesía a la edad de siete años, y acumuló una gran cantidad de trabajo técnicamente realizado tanto antes como durante su adolescencia.
Su primera colección de poemas publicada internacionalmente, In Fires of No Return: Poems (1957), fue influenciada por su renacimiento personal a través del catolicismo.
Persuadido por su visión, Baxter abandonó su trabajo para mudarse a un pequeño asentamiento maorí conocido como Hiruharama, o "Jerusalén", en el río Whanganui.
Durante los años restantes de su vida, Baxter vivió escasamente en el asentamiento maorí, escribiendo poesía que exploraba sus fuertes convicciones sociales y políticas.