Allí conoció a tres compañeros, Jimmy Sacca, Donald McGuire y Seymour Spiegelman, que formaban el trío vocal the Hilltoppers, uniéndose a ellos como pianista en un principio y como cuarto vocalista posteriormente.
En 1954 abandonó el grupo para trabajar como director musical del sello discográfico Dot Records en Gallatin (Tennessee).
En 1965 realizó una gira por Japón coincidiendo con el lanzamiento de "Pearly Shells", su mayor éxito allí.
Muchos sencillos que no tuvieron demasiado impacto en Estados Unidos sí que lo hicieron fuera del país: "Lili Marlene", "Zwei Gitarren am Meer", "Blueberry Hill" y "Greenfields" triunfaron en Alemania, "It's a Lonesome Old Town" en Japón, "Michelle" alcanzó el número 1 en Argentina y Malasia, "Mexico" llegó al número 1 en Filipinas y "Bonanza" en Brasil e Italia.
Sus restos reposan junto a los de su esposa en el Oak Hill Memorial Park en Escondido (California).