Pocos meses antes, el batería Steven Daly había abandonado la banda, aunque finalmente le convencieron para la grabación del single.Durante esta época Alan Horne, entonces estudiante de botánica y entusiasta seguidor del grupo, se convertiría en el mayor protector del grupo, no sólo manteniendo la unidad interna y evitando su disolución, sino también creando una discográfica, la mencionada Postcard, para que Collins y los suyos pudieran lanzar un sencillo.Los cuatro sencillos grabados para la discográfica de Alan Horne (el ya citado y Blue Boy, Simply Thrilled Honey y Poor Old Soul) tuvieron una buena acogida, lo que contribuyó al fichaje de Orange Juice por Polydor.

[1]​Tras la grabación del álbum You Can't Hide Your Love Forever (1982), Malcolm Ross, exguitarrista de Josef K, se une a las filas de Orange Juice, pero la banda perderá poco después a James Kirk y Steve Daly, dos miembros que posteriormente se unirán al grupo Memphis.Para la grabación del segundo trabajo, Rit It Up (1982), el batería Zeke Manyika se une a la formación en la primavera de 1982.

A pesar de los logros que algunos críticos vieron en este trabajo, la compañía no mostró demasiado interés en el trabajo y el disco supuso un fracaso comercial que provocó la expulsión del grupo de Polydor.

Aunque Rit It Up fue su mayor éxito comercial, la acogida por parte de las revistas especializadas no fue tan calurosa.

Steve Sutherland subrayó en febrero de 1982, en un artículo aparecido en la revista Melody Maker, que probablemente éste era uno de los mejores discos jamás grabados, y aunque reconocía las limitaciones técnicas del grupo, auguraba que el trabajo contribuiría a definir una nueva era musical.

Así, Allan Jones tacha de exageración la afirmación hecha por Steve Sutherland en la revista Melody Maker meses antes, según la cual You Can't Hide Your Love Forever era probablemente el mejor disco de la historia.

La voz de Edwyn's sigue siendo un mundo, pero durante buena parte del disco la banda se aferra a las normas que hace un año rompían".

Asimismo, Savage reconoce la importancia que tuvo la entrada en el grupo del batería Zeke Manyika, cuyo estilo influyó notablemente en el colectivo, que se abrió totalmente a la influencia soul y probó ritmos más sincopados.

Edwyn Collins recordaría años más tarde: "En esta época David McClymont y Malcolm Ross eran inseparables.

En marzo de 1984, una crítica firmada por Don Watson, calificó estas seis canciones como excitantes, cualidad que, a su juicio, parecía en peligro en la música pop.

A su juicio, en su último disco el grupo consiguió por primera vez armonizar con acierto sus características: sus "rarezas", su entuasiasmo y sus clichés.

Estaba simultaneando las dos grabaciones, así que el disco se convirtió en mi primer trabajo en solitario, con la contribución de Zeke limitada a tocar la batería".

Ted Kessler coincide en citar esta canción, junto con Salmon Fishing In New York, como una de las más destacadas.