Federici comenzó a tocar el acordeón con siete años, viendo el programa de televisión The Lawrence Welk Show.

[2]​ A medida que progresaba en el estudio del acordeón, se interesó en el jazz y en el blues, después de escuchar a un profesor del Conservatorio de Filadelfia tocando ambos estilos al acordeón.

Durante la época, Federici acudió a la Hunderton Central High School de Nueva Jersey.

[2]​ Federici también se unió a otras bandas de Springsteen como Steel Mill.

Durante este tiempo, Federici también publicó Flemington, un álbum en solitario con canciones instrumentales de jazz.

Springsteen incluyó también homenajes póstumos a Federici en álbumes como Wrecking Ball y High Hopes, al introducir canciones grabadas antes de su fallecimiento.

Los cuatro temas incluidos en el disco fueron recogidos de la gira Magic Tour e incluyó la canción «4th of July, Asbury Park (Sandy)» interpretada en el último concierto en el que tocó Federici con el grupo.