En 1929, en un combate en el Yankee Stadium, Sharkey derrotó por nocaut al excampeón semipesados Tommy Loughran en el tercer asalto, consiguiendo así el título de los Estados Unidos, categoría peso pesado.

Esta victoria le dio la oportunidad de pelear por el título mundial que estaba vacante ante el boxeador alemán Max Schmeling.

Después de este combate perdió otros dos ante King Levinsky y Tommy Loughran (cuatro años antes le había ganado) y estuvo durante dos años sin pelear hasta que volvió en 1935.

Después de cuatro combates más en los cuales ganó dos, perdió uno y empató otro, se enfrentó a Joe Louis, que lo derrotó fácilmente por nocaut en tres asaltos.

En 1994, Jack Sharkey fue incluido en el Salón Internacional de la Fama del Boxeo.