[2] La canción abre con la voz principal y una guitarra acústica, con el segundo verso añadiendo platillos y una flauta dulce, creando una atmósfera que el biógrafo de David Bowie, David Buckley llamó "demencia infantil",[3] antes de que se transforme en una pieza de heavy metal presentando acordes distorsionados de la guitarra eléctrica tocada por Mick Ronson, aumentado por el sintetizador Moog tocado por Ralph Mace.
[5] Bowie había dicho que la canción había sido escrita para su hermanastro, Terry Burns, un recluso esquizofrénico del Cane Hill Hospital (quien aparecía en la portada del lanzamiento original en Estados Unidos de The Man Who Sold the World) hasta su suicidio en 1985.
[6] La letra incluye referencias hacia la lobotomía cerebral, el tranquilizador Librium y la terapia electroconvulsiva.
[6] Un lanzamiento oficial, junto con "Janine", de su anterior álbum David Bowie como lado B, estuvo planeada pero al final se archivo, y algunas copias (73173) han sido encontradas.
[8] En junio de 1973, RCA Records relanzó "All the Madmen" como sencillo en Europa Oriental, junto con "Soul Love" de The Rise and Fall of Ziggy Stardust and the Spiders from Mars.