Smith nació en Gloucester, Massachusetts y se graduó de Governor Dummer Academy y la Universidad Harvard, siendo compañero de cuarto de John F. Kennedy.

Sirvió para la Fuerza Armada de los Estados Unidos en el Pacífico durante la Segunda Guerra Mundial.

Kennedy, que había sido reelegido en 1958 para un segundo mandato en el Senado por seis años, informó al gobernador de Foster Furcolo de Massachusetts para nombrar a Smith para ocupar el puesto vacante "con el interés de promover la unidad del partido.

Smith se desempeñó como senador hasta que se hicieron las elecciones especiales en noviembre de 1962.

Smith dimitió después de las elecciones; a raíz de su dimisión del Senado, fue sucedido por Edward Kennedy.