En 1892 logró ser miembro del Senado de Massachusetts, y en 1894 fue elegido para el Congreso por el 9.º Distrito, prestando sus servicios desde 1895 hasta 1901.
Durante años fue la figura política más destacada en la ciudad de Boston, mientras que Patrick J. Kennedy era poco más que un personaje secundario del Partido Demócrata.
Patrick J. Kennedy fue oponente de Fitzgerald en su primera carrera hacia la alcaldía, pero posteriormente se convirtieron en aliados.
En 1914, las dos poderosas familias políticas (Kennedy y Fitzgerald) fueron unidas cuando el hijo de Patrick Kennedy, Joe, se casó con la hija de Fitzgerald, Rose.
Fitzgerald fue candidato sin éxito en las elecciones al Senado en 1916, y para Gobernador en 1922.