Hay muchas tradiciones pintorescas acerca del nombre "Montrouge", pero parece ser que, de hecho, viene de las palabras latinas monte (montaña) y rubeus (rojo), dando como resultado "montaña roja", dado el color rojizo de la tierra en esta zona.
El nombre de la comunidad aparece mencionado por primera vez en documentos monásticos en 1194.
A lo largo de la Edad Media, la aldea albergó varios monasterios y órdenes religiosas, mientras que en el siglo XV se convirtió en el centro de las canteras usadas para la reconstrucción de París.
A finales del siglo XVI, la llanura de Montrouge fue nombrada "reserva para cacerías reales", y durante los siglos XVII y XVIII fue conocida por sus molinos, los cuales han desaparecido por completo.
En 1875, la ciudad le ganó algunos miles de metros cuadrados a las comunas adyacentes de Châtillon y Bagneux, principalmente en el barrio llamado Haut Mesnil.