Representó a muchos clientes de alto perfil, incluidos Sam Giancana, John Hinckley Jr., Frank Sinatra, al ex gobernador de Texas y secretario del Tesoro John B. Connally Jr., al empresario Robert Vesco, editor de Playboy Hugh Hefner, al espía Igor Melekh, Jimmy Hoffa, la figura del crimen organizado Frank Costello, el comerciante de productos petroleros Marc Rich, el senador estadounidense Joseph McCarthy, el empresario Victor Posner, Michael Milken, el periódico The Washington Post y el reverendo Sun Myung Moon.
En una de las biografías definitivas sobre Williams, el autor Evan Thomas escribió: "Debido a sus conexiones y su gran conocimiento interno, algunos observadores especularon que era Garganta Profunda, la fuente legendaria de Bob Woodward y Carl Bernstein, los ingeniosos reporteros del Post.
Más tarde se reveló que la fuente anónima conocida como Garganta Profunda era el director asociado del FBI Mark Felt.
Ascendió a las filas administrativas comprando una participación del cinco por ciento en la franquicia en marzo de 1962 y sucediendo al enfermo Marshall como presidente del equipo a cargo de las operaciones diarias tres años después en 1965.
Renunció al control del club de baseball en 1980 y vendió su participación minoritaria cinco años después en 1985, en ambos casos a Jack Kent Cooke, quien había sido el dueño mayoritario del equipo desde 1974.
Más importante aún, Williams firmó un nuevo contrato de arrendamiento a largo plazo con Baltimore que pagaría un nuevo estadio, que se convertiría de Oriole Park en Camden Yards.
No viviría para ver el nuevo estadio (se abrió en 1992, cuatro años después de su muerte).