Holley sirvió dos términos como alcalde de Portsmouth, Virginia.
Ambos términos terminaron retirado de su cargo, convirtiéndose en el único político conocido en la historia estadounidense que se retiró dos veces hasta que el concejal de Fullerton, California, Don Bankhead se retiró en junio de 2012.
Holley sirvió primero como miembro del Consejo de la ciudad de Portsmouth desde 1968 hasta 1984, y fue vicealcalde desde 1978 a 1980.
Tras su elección en 1968, se convirtió en el primer afroamericano en servir en el Ayuntamiento de Portsmouth.
[4] Su primer mandato llegó a su fin cuando se vio obligado de su cargo a raíz de un escándalo de cuenta de gastos, convirtiéndose en el primer político de Virginia en los tiempos modernos que se destituyó.