En 1858, su hijo mayor Sidney (fruto de su anterior matrimonio), contrajo fiebres tifoideas y murió.
Artelia, que había estado cuidándolo, también sucumbió a la enfermedad diez días después.
[2] Además, los criterios en la región respecto al tema de la esclavitud eran ambivalentes, y en general, no existían fuertes sentimientos a favor o en contra, y "mientras que un número considerable de blancos en el piedemonte no estaban directamente conectados a la institución [de la esclavitud], no obstante, en su mayoría, aceptaron su presencia sin pensar".
Después de un breve período en una prisión federal, fue puesto en libertad condicional y enviado por barco a New Bern, y desde allí, caminó 134 millas (216 km) de regreso a su hogar.
En 1865, usando un almacén de maíz adaptado como fábrica, comenzó su primera compañía, "W. Duke and Sons", y empezó a producir tabaco de pipa bajo la marca "Pro Bono Publico" ("Por el bien público").
[8] A medida que su compañía prosperó lentamente, construyeron una fábrica de dos pisos en la granja en 1869.
Después de vender su participación en la compañía, Duke se involucró más con la política local como miembro del Partido Republicano y dedicó más tiempo a obras de caridad y filantrópicas.