En 1998, nuevamente como un trío, lanzaron su cuarto álbum, In an Expression of the Inexpressible, que fue producido por Guy Picciotto, guitarrista y vocalista de la banda Fugazi.

[4]​ Poco después, el cuarto miembro Maki Takahashi dejó la banda y fue reemplazado por su amigo Toko Yasuda como bajista.

[6]​ Su tercer álbum, Fake Can Be Just as Good, fue lanzado a través de Touch & Go en 1997.

En su cuarto álbum, In an Expression of the Inexpressible, Guy Picciotto de Fugazi fue contratado como productor.

En 2000 Picciotto también coprodujo Melody of Certain Damaged Lemons con Ryan Hadlock, un álbum sobre la relación entre Makino y Amedeo Pace.

[13]​ A mediados de 2008, escribieron y grabaron la partitura del documental The Dungeon Masters.

[15]​[16]​ En 2009, Blonde Redhead contribuyó al álbum de beneficencia a víctimas del sida Dark Was the Night producido por Red Hot Organization.

[18]​ El álbum fue nuevamente mezclado por Alan Moulder,[19]​ y alcanzó la posición número 79 en la lista Billboard 200.

Autofinanciado, la banda se embarcó en un calendario de grabación desordenado con el productor Drew Brown.