La ciudad constituye un importante núcleo comercial del área histórica de Gemer.
El nombre de la ciudad probablemente derive de la palabra «rosa» a través del húngaro rózsa o del alemán rose.
Los hallazgos arqueológicos demuestran que toda la zona de Rožňava fue densamente poblada debido a la actividad minera producida por la explotación del oro, la plata y el hierro desde el siglo XIII.
Sin embargo, el auge de la minería decreció a partir del siglo XVI cuando las tierras situadas al sur de la ciudad fueron conquistadas por el Imperio otomano.
En el siglo XIX resurge la minería con la revolución industrial y una explotación del hierro de gran productividad, que fue la actividad dominante en la región durante el siglo XX.