Vivió con su familia en la San Francisco Bay Area, hasta que se mudaron a la ciudad de Jackson en Minnesota.
Allí conoció a David Ellefson cuando tenía tan solo diez años y con quien, poco tiempo después de terminar la escuela secundaria, alquiló un apartamento en Hollywood, con el hecho de seguir una carrera musical.
Juntos decidieron formar su propia banda de thrash metal en 1983 bajo el nombre de Megadeth, con Greg y Mustaine como guitarristas, y Ellefson como bajista, mientras que más tarde se les uniría como baterista Dijon Carruthers.
Aunque Weber deja la banda poco tiempo después y es reemplazado por John Fedde.
Juegan en la escena «underground» durante un tiempo, hasta la salida de su álbum debut Annihilation en 1987, que recibe buenas críticas.