Desempeñó durante mucho tiempo (1862-1882) la función de Gobernador General del Cáucaso, asentándose en Tiflis, la ciudad que la mayoría de sus hijos recordará como el hogar de su infancia.
Durante toda su vida vio la entronización de cuatro emperadores de Rusia: Nikolai I, Alejandro II, Alejandro III y Nicolás II (a todos los cuales sirvió lealmente) - e incluso sobrevivió a su sobrino Aleksandr III, un hombre mucho más joven que él.
Durante la Guerra ruso-turca de 1877-1878, fue comandante en jefe de las tropas imperiales rusas en el Cáucaso.
En 1878 fue ascendido a mariscal, y en 1881, su sobrino Alejandro III lo nombra presidente del Consejo de Estado para sustituir a su hermano Constantino Nikoláevich, permaneciendo en ese puesto hasta su muerte.
Tuvieron siete hijos: Tres de los hijos del gran príncipe Mijaíl fueron ejecutados por los revolucionarios bolcheviques entre julio de 1918 y enero de 1919.