En 1927 contrajo matrimonio con la cantante Kirstie Newsom, y durante los años siguientes, simultaneó su actividad como compositor con diversos trabajos, lo cual no le impidió desarrollar su creatividad en ningún momento.
Algunas de sus composiciones juveniles obtuvieron gran reconocimiento; su Doble Fuga, Op.10, fue premiada con un Carnegie Prize e interpretada nada menos que por Ralph Vaughan Williams y la Orquesta Sinfónica de Londres en 1928 (concierto este en el que tuvo oportunidad de conocer a Finzi, cuyo concierto para violín formaba parte del mismo programa).
A comienzos de la Segunda Guerra Mundial, Milford se alistó en el ejército.
Una semana más tarde, sufrió un colapso y, tras recibir tratamiento, se trasladó junto con su familia a Guernsey.
Tanto Gerald Finzi como Ralph Vaughan Williams no cesaron de brindarle apoyo, moral y artístico.
Las muertes de ambos, en 1956 y 1958 respectivamente, lo afectaron considerablemente, llevándolo a ahondar cada vez más su permanente depresión.