Tiene asociaciones históricas con Lord Byron, cuya editorial John Murray tenía su sede aquí, y con Oscar Wilde, miembro del Albemarle Club, lugar donde recibió un insulto que provocó su demanda por calumnias y su eventual encarcelamiento.Albemarle Street fue construida por un sindicato de promotores encabezados por Sir Thomas Bond.El sindicato compró en 1684 una mansión de Piccadilly llamada Clarendon House a Christopher Monck, el segundo duque de Albemarle, que había caído en el abandono debido a la vida disoluta del duque.La editorial John Murray se situaba en el 50 de Albemarle Street durante los siglos xix y xx.Sir John Betjeman, el poeta y presentador, fue otro escritor de Murray.Posteriormente el Real Club de Yates del Támesis tuvo su sede aquí.Este club estaba formado por nueve hombres que apoyaban las teorías de la selección natural y el liberalismo académico y fue progresivamente ganando influencia en la ciencia de finales del siglo xix.
Vista de Clarendon House, actualmente demolida. Albemarle Street atraviesa el centro de la antigua parcela de la casa.