La versión original de la letra estaba basada en una ruta de autobús que tomaba en Liverpool, nombrando varios sitios que él veía a lo largo del camino, incluyendo Penny Lane y Strawberry Field.
Sin embargo, Lennon consideró que era «ridículo» llamándola: «La versión más aburrida del viaje en autobús que hice en mis vacaciones», volvió a trabajar la letra, reemplazando los recuerdos específicos con una meditación generalizada sobre su pasado.
In my life I've loved them all («Algunos [amigos] están muertos y algunos vivos.
También reclamó que él había escrito la melodía entera, inspirándose en canciones de Smokey Robinson & The Miracles.
En ese momento, Lennon no había decidido qué instrumento utilizar, pero posteriormente le preguntó a George Martin si podía tocar un solo de piano, sugiriendo «algo con sonido barroco».