Lo más probable es que su nombre haga referencia a los panes de azúcar, forma tradicional en que se producía el azúcar hasta finales del siglo XIX y que consistía en largos conos de punta redondeada similares al morro, aunque algunos consideran que el nombre en realidad deriva de pau-nh-acuqua, que significa «colina alta» en la lengua tupi-guaraní, usada por los indígenas tamoios.
Geomorfológicamente, corresponde a un domo muy erosionado, compuesto de un monolito de granito y cuarzo que data del Cenozoico.
Su cúspide se sitúa a 396 metros de altitud (1299 pies) sobre el nivel del mar.
El acceso a su cima se da por dos medios: por teleférico al Pan de Azúcar o por un sendero.
Un teleférico de cristal artesonado (llamado bondinho en el portugués popular) con capacidad para 65 pasajeros, recorre una ruta de 1.401 metros que une Praia Vermelha con el Morro da Urca, y ésta con el Pan de Azúcar.