[1]​ Purvis fue destacado en el FBI por haber liderado las operaciones contra los delincuentes Baby Face Nelson, Charles Arthur "Pretty Boy" Floyd, los hermanos Barker y John Dillinger.

Nació en Timmonsville, Carolina del Sur en 1903; hijo de Janie Elizabeth Mims y Melvin Horace Purvis, el cual se dedicaba a cultivar tabaco.

Purvis desencadenó una cacería en todo el país, con la cual logró atrapar a bandidos célebres como ''Baby Face'' Nelson, (Cara de bebé Nelson) y Pretty Boy Floyd (Chico bonito Floyd) y la banda de los hermanos Barker a la que pertenecía su madre, la mítica Ma Barker.

Smith declaró también que Purvis y sus agentes nunca dispararon hasta después de interrogar a Floyd.

Fue después de interrogarlo, cuando Purvis ordenó al agente Herman Hollis que le disparase y para esto Floyd ya yacía en el suelo.

Más tarde se determinó que Purvis pudo haber disparado el arma accidentalmente mientras trataba de sacar una bala atascada en su pistola.