Oni primero se menciona en fuentes históricas en el siglo XV, aunque una leyenda sostiene que la ciudad fue fundada por el rey Pharnajom de Iberia en el siglo II a. C. Localizada en la encrucijada del Cáucaso norte, Iberia (Georgia central), Imericia (Georgia occidental) y Racha, Oni fue una típica ciudad comercial de finales de la Edad Media y fue disputada por los reyes de Imericia y los príncipes de Racha.
La ciudad fue absorbida por la Rusia imperial en 1810, y en 1846 se convirtió en un centro del distrito de Racha.
A pesar de una tendencia postsoviética hacia la migración, Oni todavía conserva a una comunidad judía histórica (la tercera más grande de Georgia).
Hay una sinagoga en Oni construida en la década de los 80 del siglo XIX, diseñada por un arquitecto polaco y cuyos constructores eran judíos griegos de Salónica.
Un balneario popular, Shovi, está situado a unos 30 kilómetros de Oni, en las laderas meridionales de las mayores montañas del Cáucaso.