De origen humilde, labró una rápida fortuna en el mundo inmobiliario y del arte.
Alcanzó la notoriedad internacional cuando se vio envuelto en un crimen que dio origen a la novela Medianoche en el Jardín del bien y del mal de John Berendt.
En 1981 llegó su ruina social cuando tiroteó, aún en circunstancias poco claras, a su amante y ayudante del taller de restauración Danny Hansford; tras varios juicios llenos de escándalos, testigos y pruebas inconcluyentes, fue puesto en libertad tras pasar algún tiempo en la cárcel, desde donde seguía manteniendo una existencia a todo lujo.
Jim Williams murió en 1990 a causa de neumonía, y según se dice, también por un fallo en el corazón.
Fue inmortalizado para siempre por el novelista John Berendt, quien lo retrató, con todas sus virtudes, fallos y poses, en el libro de viajes Medianoche en el Jardín del bien y del mal; años más tarde, en 1997, el actor estadounidense Kevin Spacey lo interpretó a la perfección en la película del mismo título, dirigida por Clint Eastwood.