Procedente del Instituto Rocky Mount Senior, Williams asistió a la Universidad de Maryland, teniendo un éxito inmediato al ser nombrado Rookie del Año de la Atlantic Coast Conference en 1979.

Lideró la ACC en rebotes en dos ocasiones, mientras que promedió 15,5 puntos en sus años sophomore y júnior.

En 1981 fue elegido en el mejor quinteto del All-American y de la ACC, al igual que en 1980 esto último.

En 1980 fue seleccionado para disputar los Juegos Olímpicos junto con los posteriormente campeones de la NBA Isiah Thomas y Mark Aguirre; sin embargo nunca defendió los colores de la selección en Moscú debido al boicot norteamericano.

En su estancia en los Blazers descendió en puntos aunque se siguió mostrando como un excelso reboteador a pesar del paso de los años.