Sus padres fueron Carmelina Maria Prochilo y Carmelo Frank Panetta, inmigrantes italianos de Siderno, Calabria, y propietarios de un restaurante.
Sus primeros años los pasó en Monterey, donde ayudó en el restaurante y la granja familiar.
Continuó su educación secundaria en Monterey High School, donde se involucró en las políticas estudiantiles y fue miembro de la organización juvenil Junior State of America.
En 1956 ingresó a la Universidad Santa Clara, y en 1960 se graduó magna cum laude en la licenciatura de Ciencias Políticas.
En 1971 dejó esa función, y escribió un libro Bring us Together (Unámonos) sobre su experiencia durante la administración de Nixon.