Se casó en 1926 con Sally Michel, quien como ilustradora proporcionó el sustento para permitir que él se dedicara a la pintura.

Su obra es fundamental para la pintura abstracta americana pese a ser figurativa.

Ha sido visto a menudo como el Matisse americano.

Desde 1930 fue amigo de Adolph Gottlieb y Mark Rothko entre tantos otros que formaban parte del núcleo artístico neoyorquino de la década del 30 y 40s.

[1]​ La Colección Phillips en Washington D. C. fue el primer museo que en 1929 compró una de sus piezas y que en 1944 le dedicó una exposición[2]​ Su hija March Avery, es pintora.