El hotel costó $ 4 millones y fue financiado y propiedad de James Graham Brown, un empresario local que quería competir con The Seelbach Hotel a pocas cuadras de la calle.

A James Winkfield, un jockey negro que ganó dos Derbys de Kentucky, se le negó la entrada en la puerta principal en 1961.

Se registra que Elmer H. Weck, un botones del hotel en este momento, atrapó un pez de dos libras en el vestíbulo.

Como gran parte del resto de la nación, la recuperación económica comenzó en la preparación para la Segunda Guerra Mundial.

La semana del Derby de Kentucky fue y sigue siendo la semana más exitosa de todos los años, celebridades como el duque de Windsor, Harry Truman, Elizabeth Taylor, Joan Crawford, Gene Autry, Eva Marie Saint y Muhammad Ali se han hospedado aquí durante este tiempo.

Aunque se gastaron $ 1.5 millones en 1965 para modernizar el Brown y otro hotel del centro, la asistencia siguió siendo baja.

Después de que se completaron las restauraciones y modificaciones, Camberley vendió el hotel a su propietario actual, 1859 Historic Hotels LTD con sede en Galveston, Texas, en 2006.

The Brown sirvió como ubicación para numerosas escenas en la película Elizabethtown de 2005, dirigida por Cameron Crowe.