El sencillo se convirtió en el mayor éxito de Harvey en Estados Unidos, alcanzando el número 2 en la lista del Modern Rock Tracks del Billboard y el número 48 en el Billboard Hot 100 Airplay,[7] recibiendo una extensa rotación en MTV y en las radios universitarias.
[5][6] La canción deriva elementos del blues y la electrónica, esta última debido al uso de un órgano sintetizador.
La letra habla de una mujer que comete un infanticidio al ahogar a su hija.
En el final de la canción Harvey susurra la frase «little fish, big fish swimming in the water / come back here, man, gimme my daughter» («pececitos, peces grandes nadando en el agua / ven aquí, hombre, devuélveme a mi hija»).
En 2005, Harvey usó la letra de la canción en una entrevista para la revista Spin como ejemplo para demostrar que sus canciones no eran autobiográficas: «Algunos críticos han tomado las letras de mis canciones tan literalmente que escuchan 'Down by the Water' y creen de hecho, que he dado a luz a una niña y la he ahogado».
Dichas canciones aparecerían posteriormente en un disco extra en la edición especial de To Bring You My Love.
[20] Al describir el video en una entrevista en el programa de televisión JBTV, declaró lo siguiente: Durante la grabación, Harvey fue fotografiada por Valerie Phillips, cuyas imágenes fueron utilizadas en la portada y en el arte del disco de To Bring You My Love.