Schloss significa castillo ("castle") en alemán, por lo que Castle probablemente tradujo su apellido al inglés para evitar la discriminación que a veces soportaban los artistas judíos de la época.
Esto le dio una buena preparación para la dirección, y a los 23 años de edad se trasladó a Hollywood, donde dirigió su primer film seis años más tarde.
También produjo y tuvo un breve papel no hablado en la película de Roman Polanski Rosemary's Baby (1968).
Según la documentación de su estreno en DVD, Castle quería dirigir el filme, pero el estudio insistió en contratar otro director dada la reputación que Castle había obtenido con su trabajo previo.
[1] Está enterrado en el Cementerio Forest Lawn Memorial Park de Glendale (California).