Smith recibió una educación limitada y se estableció en varias comunidades como agricultor.

[n 1]​ En junio de 1829, Smith fue bautizado en Seneca Lake, Nueva York.

A medida que la sede de la iglesia y la membresía se mudaron hacia el oeste del país, Smith y su familia siguieron el cuerpo de la iglesia.

Mientras intentaba bloquear la puerta para evitar que la turba entrara, Smith recibió un disparo en la cara en el lado izquierdo de la nariz.

Después de retroceder tambaleándose, otra bola disparada a través de la ventana lo golpeó en la espalda, le atravesó el cuerpo y golpeó su reloj en el bolsillo del chaleco.

Joseph fue alcanzado por al menos dos disparos, exclamó: «Oh Señor, Dios mío»,[4]​ y cayó al suelo por una ventana del segundo piso, donde le dispararon de nuevo.

Su nieto, Joseph Fielding Smith también se desempeñó como presidente de la IJSUD desde 1970 hasta 1972.

Su hijo mayor, John Smith, se desempeñó como Patriarca Presidente de la iglesia desde 1855 hasta 1911.

En 2000, se estimó que Smith tenía más de 31 000 descendientes vivos.