Se desempeñó en la Armada de los Estados Unidos durante la Segunda Guerra Mundial y tuvo una breve carrera como boxeador profesional.

Su primera grabación fue «Rock Pretty Baby / Lonely Evening» en el sello Rex de Cosimo Mattasa, en 1958.

Estos sencillos no tuvieron éxito, pero a fines de 1960 fue descubierto por Marshall Sehorn, quien le aseguró un contrato con Fury Records.

[1]​ Aunque su seguimiento «Do-Re-Mi» también llegó a las listas, los lanzamientos posteriores en Fury no tuvieron éxito.

[4]​ En 1976, Dorsey apareció en el álbum I Don't Want to Go Home de Southside Johnny & Asbury Jukes, que lo llevó a realizar más grabaciones con ABC Records, incluido el álbum Night People.