Albrecht von Roon nació en Pleushagen, cerca de Kolberg (actual Kołobrzeg), en Pomerania.
Su padre, oficial del ejército prusiano, murió en la pobreza durante la ocupación francesa (véase Guerras Napoleónicas).
Desde entonces, en un país devastado por la Guerra de Liberación y en circunstancias adversas, el joven Von Roon fue criado por su abuela materna.
En 1832 publicó sus conocidos Principios de geografía física, nacional y política, editados en tres volúmenes (Grundlage der Erd-, Völker- und Staaten-Kunde), y del que se vendieron 40 000 ejemplares en unos pocos años.
Para conseguirlo propuso tres años de servicio universales, y una reserva (Landwehr) para la defensa del país cuando el ejército estuviera manteniendo enfrentamientos.
Su sistema para el ejército fue adoptado a partir de 1866 por toda la Confederación Alemana del Norte.
Durante la guerra franco-prusiana en 1870-1871, Roon estaba atendiendo al que después sería el rey Guillermo I de Alemania.
Su mala salud le obligó a dimitir más tarde ese mismo año.