Los métodos iterativos son útiles para resolver problemas que involucran un número grande de variables (a veces del orden de millones), donde los métodos directos tendrían un coste prohibitivo incluso con la potencia del mejor computador disponible.
Los métodos iterativos estacionarios resuelven un sistema lineal con un operador que se aproxima al original, y basándose en la medida de error (el residuo), desde una ecuación de corrección para la que se repite este proceso.
Sin embargo, en la presencia de errores de redondeo esta afirmación no se sostiene; además, en la práctica N puede ser muy grande, y el proceso iterativo alcanza una precisión suficiente mucho antes.
[cita requerida] Probablemente, el primer método iterativo apareció en una carta de Gauss a un estudiante.
El método del gradiente conjugado se inventó en esa misma década, con desarrollos independientes de Cornelius Lanczos, Magnus Hestenes y Eduard Stiefel, pero su naturaleza y aplicación se malentendieron en esa época.