Jugó durante cuatro temporadas con los Black Knights de la Academia Militar de los Estados Unidos, en las que promedió 19,7 puntos y 11,5 rebotes por partido.

Cuando se graduó, era el líder histórico en anotación del equipo, con 1.342 puntos, figurando en la actualidad en la décima posición, pero la marca lograda por Silliman fua anterior a la instauración de la línea de 3 puntos.

[1]​ Tras graduarse, cumplió con el servicio militar obligatorio, jugando con el equipo de las Fuerzas Armadas en la Amateur Athletic Union.

[2]​ Fue elegido en la sexagésimo novena posición del Draft de la NBA de 1966 por New York Knicks,[4]​ quienes lo traspasaron junto con Nate Bowman a los Buffalo Braves cuatro años después, tras finalizar su servicio militar.

[5]​ Allí jugó 36 partidos, en los que promedió 2,5 puntos y 1,7 rebotes.