Con excepción del Reino Unido, donde por restricciones comerciales tenían prohibido su difusión, tuvieron que contentarse con una versión de Polydor por Heath Hampsted.
El lado B de la canción era Kilburn Towers, excepto en Francia donde se utilizó Swan Song.
"I Started a Joke" fue parodiado por un sketch de Radio Free Portal en el que una voz en fuera de comentario lleva las letras completa y literalmente.
La canción "I Started a Joke" se presentó en gran medida en el final de la película Penn y Teller son asesinados, que cuenta con los dos magos que juegan una sucesión de bromas cada vez más elaboradas sobre la otra con una conclusión fatal.
"I started a Joke" apareció en la película The Fighter, cuando Dickie Eklund (Christian Bale) canta en un intento de consolar a su madre Alice (Melissa Leo) a raíz de un intento por parte de él para ocultar su adicción al crack.