En esta época se hizo amigo de Alphonse Legros y Henri Fantin-Latour.
Se presenta como un aristócrata arruinado del sur, aunque nunca demostró su simpatía por los sureños durante la Guerra de Secesión.
Whistler también está interesado en la pintura del Extremo Oriente y colecciona porcelanas, telas orientales, o como Dante Gabriel Rossetti, los grabados en madera usados para imprimir tejidos.
En 1863, Napoleón III hizo abrir el Salon des Refusés en una esquina del Palacio de la Industria.
Es uno de los personajes del cuadro Homenaje a Delacroix, que Henri Fantin-Latour pintó en 1864.
Sin embargo, Whistler se las arregló para entrar de nuevo en la habitación, y pintó dos pavos reales que luchan.
Las cartas entre Charles Lang Freer y Whistler publicadas revelan el interés de este último por reunir su obra en los Estados Unidos.
Se dice que el joven Oscar Wilde, invitado por Whistler a una cena, fue objeto de un comentario incisivo de su anfitrión, a lo que Wilde habría respondido: "Me gustaría haberlo dicho yo".
Su amistad se rompió hacia 1889, aunque nunca había sido profunda, pues se basaba sólo en su interés común por el arte, la aversión-atracción a las convenciones burguesas y la común inclinación hacia un carácter incisivo e ingenioso.
Como Whistler era 20 años mayor que Wilde, al principio se habían tratado como maestro y discípulo.
Cuando Wilde se atrevió a realizar una crítica negativa sobre unas conferencias de Whistler, este le atacó con sarcasmo.
[6] En 1878, Whistler demanda ante la justicia por difamación al crítico John Ruskin por sus comentarios despectivos hacia su pintura Nocturno en negro y oro: el cohete cayendo (1874).
Whistler recibió una compensación simbólica, pero el juicio le había costado mil libras más gastos.
Whistler fue reconocido a nivel mundial en vida: Después del juicio contra Ruskin, todo lo que Whistler menciona o escribe en su trabajo, y sobre todo lo que dice, tiene por objetivo declarado el disociarse de la escuela inglesa de pintura, y cesa toda relación con los académicos y artistas británicos que conoció en la década de 1860.