Mike Markkula, director de manufactura en National Semiconductor, convenció a Scott para que aceptara la plaza de director ejecutivo en Apple, como los cofundadores Steve Jobs y Steve Wozniak, ninguno era visto adecuado para el trabajo entonces.
Intentando poner un ejemplo para todos los negocios, en 1979 Scott declaró que no habría máquinas de escribir en Apple.
Cuando Apple tenía otra reorganización principal en otoño de 1980, le rescindieron el contrato, pero Jef suplicó a Scott y Markkula durante mucho tiempo y le concedieron otros tres meses para mostrar que era bueno en algo.
Por la tarde reunió a los empleados restantes con un barril de cerveza y explicó los despidos declarando: "Solía decir que si no me divertía siendo presidente de Apple, me iría.
Scott se ha hecho desde entonces un experto en gemas coloreadas, ha escrito un libro sobre ellas y ha montado una colección que ha sido expuesta en el Museo Bowers en Santa Ana.