Asistió a la Universidad de Columbia y se graduó como arquitecto.
[1] En 1912, Colt se trasladó a New Hope, Pensilvania, para poder dedicar su tiempo al arte.
[2] Luego alquiló un establo que había albergado cerdos en la granja de su amigo William Langson Lathrop en Phillips Mill y lo convirtió en su casa y estudio.
Morgan comenzó después a construir su "Little English Village" (como había escrito en la escritura de su propiedad).
En todo el pequeño pueblo inglés de Colt se puede ver su hermosa tracería inglesa tallada a mano en madera en todas sus cabañas y en la casa principal.
[1] En 1916, Colt, Lathrop, Rae Sloan Bredin, Charles Rosen, Daniel Garber y Robert Spencer formaron The New Hope Group para organizar exposiciones de su trabajo.