«Leave My Kitten Alone» es un hit R & B de 1959, escrita por Little Willie John, James McDougal y Titus Turner, fue grabada por primera vez por Little Willie John, y versionada en 1960 por Johnny Preston.
Ninguna de las versiones llegó a las listas del Reino Unido.
La canción nunca fue mezclada y no se incluyó en Beatles for Sale.
La canción fue remezclada de nuevo en 1984 por Geoff Emerick como preparación para las sesiones inéditas del proyecto.
Durante su trabajo en 1986 Blood & Chocolate, Costello grabó un versión de esta canción, aunque no se utilizó para ese álbum.