Pasó nueve años entrenando a nivel de instituto también en Cranford High School en Cranford, New Jersey y en Fair Lawn High School en Fair Lawn, New Jersey, antes de convertirse en asistente durante una temporada del College of William and Mary en 1968.

Milwaukee hizo aparición en las Finales de la NBA en 1974 con los futuros Hall of Famers Kareem Abdul-Jabbar y Oscar Robertson, pero cayeron en siete partidos ante Boston Celtics, que contaba en sus filas con estrellas del calibre de Dave Cowens, John Havlicek, Jo Jo White y Don Nelson.

Tras dos temporadas en la NBA, Brown tuvo su primera oportunidad como entrenador principal a nivel profesional en los Kentucky Colonels de la ABA.

Brown continuó en los Colonels hasta que la ABA y la NBA se fusionaron en 1976.

Sus dos primeras temporadas en la gran manzana fueron exitosas, logrando récords de 44-38 y 47-35 con apariciones en playoffs incluido.

Sin embargo, después New York entró en caída libre hasta que en 1986 fue destituido tras comenzar la temporada con un balance negativo de 4 victorias y 12 derrotas.

Sin embargo, durante la temporada 2004-05, Brown tuvo que dejar el equipo por problemas de salud y edad cuando marchaban 5-7.

James Posey y Bonzi Wells fueron otros de los jugadores que tuvieron varias disputas con el técnico.

Lionel Hollins tomó las riendas del equipo hasta que se anunció el fichaje de Mike Fratello, técnico que fue capaz de devolver a Memphis a playoffs.

Luego trabajó como analista junto a Mike Tirico en la ESPN y ABC, hasta febrero de 2025, cuando anunció su retirada de los micrófonos, a los 91 años, habiendo estado 35 temporadas en la televisión nacional estadounidense, y habiendo comentado 18 finales.