El objetivo es producir estimadores que no sean afectados por variaciones pequeñas respecto a las hipótesis de los modelos.
Las estadísticas robustas intentan proporcionar métodos que emulan a los métodos clásicos, pero que no son afectados indebidamente por valores atípicos u otras pequeñas discrepancias respecto de las asunciones del modelo.
En Estadística, los métodos clásicos confían en hipótesis que no se resuelven o no se verifican a menudo en la práctica.
Por ejemplo, se asume a menudo que los residuales de los datos están distribuidos normalmente, por lo menos aproximadamente, o que se puede confiar en el Teorema del límite central para producir estimaciones normalmente distribuidas.
Desafortunadamente, cuando hay valores atípicos en los datos, los resultados producidos por los métodos clásicos son a menudo de baja calidad.