Más tarde se unió al Ejército de los Estados Confederados en la Guerra Civil, y fue ascendido a general en los primeros meses de la guerra.

Smith fue jefe de gabinete del general Joseph E. Johnston en Harper's Ferry y ayudó además a organizar al Ejército de Shenandoah.

Después de que Vicksburg fuera capturada por la Unión en julio, la aislada zona Trans-Misisipi quedó aislada del resto de la Confederación, y se convirtió prácticamente en una nación independiente, apodada "Kirby Smithdom".

Fue el último general con una fuerza de campo mayor en rendirse durante esa contienda.

Se desempeñó principalmente como profesor universitario de matemáticas y botánica en la Universidad del Sur en Tennessee.

Está enterrado en el cementerio de la Universidad del Sur, Sewanee, Franklin Co., Tennessee.