Desde el emplazamiento del castillo hay una vista magnífica de Sujumi y sus alrededores.
El castillo su nombre al rey abjaso y más tarde georgiano Bagrat III (960-1014).
También funcionó como refugio para la élite local, incluida la familia Shervashidze, en caso de peligro.
En el siglo XVI, cuando el principal asentamiento de la villa se trasladó al oeste, en la margen derecha del río, el castillo fue abandonado y quedó en ruinas.
Fueron descubiertos asimismo ornamentos de cristal, monedas bizantinas del siglo XII y restos óseos animales.