Nació en Puerto España, capital de Trinidad y Tobago, en ese entonces bajo dominio colonial británico.

Holder era actor, coreógrafo, bailarín, director, pintor, diseñador de vestuario y también cantante.

Vivían en Nueva York y tuvieron un hijo llamado Leo Anthony Lamont Holder en 1962.

Este comenzaría su carrera como actor en la película británica "All Night Long".

Fue el primer hombre negro no afroamericano (era de origen afrocaribeño) en ser nominado en esta categoría.