[1]​ En la segunda mitad del siglo XIII, un castillo gótico fue construido en la localidad.

Llegó a su apariencia actual el siglo XIX, cuando Johann Adolf II von Schwarzenberg ordenó la reconstrucción del castillo en el estilo romántico del Castillo de Windsor.

Los Schwarzenbergs vivieron en Hluboká hasta 1939, cuando su último dueño (Adolfo Schwarzenberg) emigró a ultramar, para escapar de los nazis.

Los Schwarzenbergs perdieron todas sus propiedades a través de un acto legislativo, el Lex Schwarzenberg, en 1947.

Adquirió la apariencia que tiene actualmente gracias al Conde Jan Adam de Schwarzenberg.