Estudió en la Lyulph Stanley School y, aunque su educación no fue especial, fue un voraz lector a lo largo de toda su vida.

Fue observado mientras interpretaba al Delfín de Francia en la obra de George Bernard Shaw Saint Joan en 1954 por el productor radiofónico Dennis Main Wilson, que estaba seleccionando el reparto para Hancock's Half Hour, una serie para la radio protagonizada por Tony Hancock.

Williams actuó en revistas en el West End londinense, entre las que se incluían Share My Lettuce, con Maggie Smith, y escrita por Bamber Gascoigne, y Pieces of Eight, con Fenella Fielding.

La última revista de Williams fue One over the Eight, con Sheila Hancock.

Williams no visitó a su padre, ni siquiera cuando falleció al día siguiente.

[5]​ Varios años más tarde Williams rechazó una oferta de trabajo con Orson Welles en Estados Unidos.

Sin embargo, fue amigo del dramaturgo gay Joe Orton (que escribió el papel de Inspector Truscott en Loot (1966) pensando en Williams), y disfrutó unas vacaciones en Marruecos con el escritor y su amante, Kenneth Halliwell.