Records publicaron «Bye Bye Baby» el 15 de noviembre de 1993 como el sexto y último sencillo del disco solo en algunos países europeos, así como en Extremo Oriente y Australia, por lo que nunca estuvo disponible comercialmente en otros territorios como los Estados Unidos y el Reino Unido.

Madonna interpretó la canción en la décima edición de los MTV Video Music Awards y en su cuarta gira musical The Girlie Show World Tour (1993).

A Madonna le gustaron todas las pistas incluidas en la cinta, por lo que decidió colaborar nuevamente con él para su siguiente proyecto discográfico, Erotica, en octubre de 1991; ambos se reunieron junto con Anthony Shimkin, asistente de Pettibone, en el departamento del productor en Nueva York, donde tenía su propio estudio casero.

[1]​[2]​ La artista llevaba consigo un libro «lleno de letras e ideas para melodías» y, durante la primera sesión de composición, trabajaron en las canciones «Erotica», «Deeper and Deeper» y «Bye Bye Baby».

[3]​ Las sesiones crearon un ambiente íntimo entre la artista y los productores, lo cual fue «crucial» para la grabación de la canción.

[2]​ Shimkin no fue acreditado como coautor en las notas del álbum,[4]​ pero también participó en la composición de este y de otros temas del disco como «Erotica», «Deeper and Deeper», «Bad Girl» y «Why's It So Hard».

Sumado a ello, según la biógrafa y periodista Lucy O'Brien, se sentía sola e insegura y los más cercanos a ella se preocupaban por su incapacidad para asentarse, no solo con una persona, sino con ella misma.

[6]​ La música pasó a ser la única área donde la artista pudo plasmar sus sentimientos, y las canciones de Erotica manifestaban la depresión que había estado evitando; en palabras de O'Brien: «Madonna quería contar sus historias.

[3]​ Varios temas del disco, entre ellos «Bye Bye Baby», trataban sobre un «amor romántico perdido» y abordaban las relaciones frustradas de la cantante, especialmente aquellas en las que su pareja, descrito como un «hombre siempre sumiso», no «aparecía» con su papel básico.

[9]​[11]​ Este no se agregó después ni fue una ocurrencia tardía, sino que aplicaron ese efecto de voz durante la grabación y así era como Madonna se oía a sí misma al cantarla.

[3]​[5]​ Shimkin mencionó que, si bien suelen aplicarse este tipo de técnicas en la mezcla, para esta ocasión decidieron registrar aquel efecto directamente en la cinta y añadió: «Ya no hubo marcha atrás.

[5]​[9]​ Por su parte, De Lory comentó que el efecto vocal «tenía mucha actitud.

[19]​ Según la partitura publicada en el sitio Sheet Music Plus por Alfred Publishing Co.

Finaliza con una explosión y la frase You fucked it up («lo arruinaste»), que es censurada.

[28]​ Se burla de él por haberla hecho llorar y, en lugar de vengarse de su «pareja dominante», decide «tomar el control» y le reitera It's your turn to cry, this time you have to say goodbye («Te toca a ti llorar, esta vez tú tienes que decir adiós»).

[23]​ Rikky Rooksby —autor de The Complete Guide to the Music of Madonna (2004)— y Frank Lloyd también notaron que tanto la música como la letra, especialmente la línea I'd like to hurt you, remitían a «Erotica».

[43]​ Nunca estuvo disponible comercialmente en territorios como los Estados Unidos y el Reino Unido,[40]​[44]​ sino que se limitó solo a algunos mercados europeos, así como a Extremo Oriente y Australia;[18]​[45]​ en este último, el lanzamiento coincidió con los conciertos brindados durante la gira The Girlie Show de Madonna.

[51]​ En general, siguen un sonido hip hop que no difiere mucho de la versión del álbum y emplean ritmos y sonidos adicionales de viento añadidos a la mezcla original.

Club destacó que el tema, junto con «Erotica», formaba parte de los «buenos momentos» del disco.

[62]​ Phil Sutcliffe de la revista Q sintió que Madonna era «mala y vengativa» en la canción.

En una opinión favorable, Matthew Barton de The Quietus reconoció el hecho de que la cantante intentara experimentar y citó las «voces nasales» en la «extraña y casi caricaturesca "Bye Bye Baby"».

[66]​ David Browne de Entertainment Weekly aseguró que, incluso con su voz «burlona y electrónicamente alterada», sonaba «más sincera» en comparación con otras canciones del álbum.

[31]​ Peter Piatkowski de PopMatters opinó que su voz nunca había sido un «instrumento fuerte» y en la canción «se ve aún más debilitada» por la distorsión a través del filtro, lo que daba como resultado una presencia «fantasmal, mecánica y algo técnica, como si fuera solo uno de los muchos efectos del estudio».

[22]​ Para Lucy O'Brien, Madonna se mostró «fría y minimalista hasta el punto de llegar a lo monótono».

Asimismo, criticó el ritmo dance por ser «apenas perceptible» y la letra «superficial, como si no estuviera totalmente concentrada o no tuviera muchos recursos internos a los que recurrir, lo que los curanderos alternativos llamarían "qì disperso", una fuerza vital agotada».

[69]​ Aunque le pareció «divertida», Gavin Scott de Chart Beats prefirió que otros temas del disco como «Why's It So Hard» y «Words» hubieran sido publicados como sencillos.

[88]​ Fue exactamente la misma presentación que realizó en los MTV Video Music Awards;[89]​ por ende, también sirvió como homenaje a Dietrich.

[90]​[91]​ Madonna y sus coristas repitieron el vestuario inspirado en la actriz en la película Marruecos (1930) que, a su vez, era similar a la vestimenta utilizada por los caballeros de la época victoriana;[92]​[93]​ el mismo consistió en un traje negro tipo frac, una camisa blanca, un pañuelo bien ceñido a la cabeza, un sombrero de copa negro brillante y un bastón.

[92]​ Hacia el final, las bailarinas rechazaban a Madonna y las coristas, quienes las observaban de manera lasciva.

[103]​ En el libro Madonna's Drowned Worlds (2004), la académica Freya Jarman-Ivens reconoció que la actuación resaltó la «importancia del discurso lésbico».