Maldición de la dimensión

En matemáticas y estadística, la maldición de la dimensión (también conocida como efecto Hughes[1]​) se refiere a los diversos fenómenos que surgen al analizar y organizar datos de espacios de múltiples dimensiones (cientos y miles de dimensiones) que no suceden en el espacio físico descrito generalmente con solo tres dimensiones.Hay múltiples fenómenos referidos con este nombre en campos tales como el análisis numérico, el muestreo, la combinatoria, el aprendizaje automático, la minería de datos y bases de datos.La causa común de estos problemas es que cuando aumenta la dimensionalidad, el volumen del espacio aumenta exponencialmente haciendo que los datos disponibles se vuelven dispersos.Esta dispersión es problemática para cualquier método que requiera significación estadística.Con el fin de obtener un resultado estadísticamente sólido y fiable, la cantidad de datos necesarios para mantener el resultado a menudo debe crecer también exponencialmente con la dimensionalidad.Además la organización y búsqueda de datos a menudo se basa en la detección de las áreas donde los objetos forman grupos con propiedades similares, y en datos de alta dimensión, sin embargo todos los objetos parecen ser escasos y diferentes en muchos aspectos, lo que impide que las estrategias de organización de datos comunes sean eficientes.El término fue acuñado por Richard Bellman cuando estaba considerando los problemas de la programación dinámica.[2]​[3]​ Por ejemplo: bastan 100 puntos (102=100) para muestrear un intervalo unidad (un cubo unidimensional) de manera que los puntos no disten más de 10-2=0,01 entre sí.tiende a infinito, el volumen relativo de la esfera con respecto al del cubo se vuelve insignificante:También afecta a métodos como el de los k vecinos más próximos porque al aumentar la dimensión, la distancia al vecino más próximo crece.La maldición de la dimensión también ha dificultado la aplicación de la estadística bayesiana: obliga a que la distribución posterior tenga demasiados parámetros.Este problema ha sido parcialmente mitigado por algunas técnicas como los Métodos de Montecarlo basados en cadenas de Markov (MCMC), basados en simulaciones.