Hipótesis múltiple

Postula la capacidad de interpolar dentro de variedades latentes

La hipótesis de la variedad postula que muchos conjuntos de datos de alta dimensión que ocurren en el mundo real en realidad se encuentran a lo largo de variedades latentes de baja dimensión dentro de ese espacio de alta dimensión. ^{[1] [2] [3] [4]} Como consecuencia de la hipótesis múltiple, muchos conjuntos de datos que inicialmente parecen requerir muchas variables para ser descritos, en realidad pueden describirse mediante un número comparativamente pequeño de variables, similar a la coordenada local. sistema de la variedad subyacente. Se sugiere que este principio sustenta la efectividad de los algoritmos de aprendizaje automático al describir conjuntos de datos de alta dimensión al considerar algunas características comunes.

La hipótesis múltiple está relacionada con la eficacia de las técnicas de reducción de dimensionalidad no lineal en el aprendizaje automático. Muchas técnicas de reducción dimensional suponen que los datos se encuentran a lo largo de una subvariedad de baja dimensión, como la escultura de múltiples , la alineación de múltiples y la regularización de múltiples .

Las principales implicaciones de esta hipótesis es que

• Los modelos de aprendizaje automático solo tienen que ajustarse a subespacios relativamente simples, de baja dimensión y altamente estructurados dentro de su espacio de entrada potencial (variedades latentes).
• Dentro de una de estas variedades, siempre es posible interpolar entre dos entradas, es decir, transformar una en otra a través de un camino continuo a lo largo del cual todos los puntos caen en la variedad.

La capacidad de interpolar entre muestras es la clave para la generalización en el aprendizaje profundo . ^[5]

La geometría de la información de las variedades estadísticas.

Un enfoque empíricamente motivado de la hipótesis múltiple se centra en su correspondencia con una teoría eficaz para el aprendizaje múltiple bajo el supuesto de que el aprendizaje automático robusto requiere codificar el conjunto de datos de interés utilizando métodos de compresión de datos. Esta perspectiva surgió gradualmente utilizando las herramientas de la geometría de la información gracias al esfuerzo coordinado de los científicos que trabajan en la hipótesis de la codificación eficiente , la codificación predictiva y los métodos bayesianos variacionales .

El argumento para razonar sobre la geometría de la información en el espacio latente de distribuciones se basa en la existencia y unicidad de la métrica de información de Fisher . ^[6] En este contexto general, estamos tratando de encontrar una incrustación estocástica de una variedad estadística. Desde la perspectiva de los sistemas dinámicos, en el régimen de big data esta variedad generalmente exhibe ciertas propiedades como la homeostasis:

1. Podemos muestrear grandes cantidades de datos del proceso generativo subyacente.
2. Los experimentos de Machine Learning son reproducibles, por lo que las estadísticas del proceso de generación exhiben estacionariedad.

En un sentido preciso por los neurocientíficos teóricos que trabajan sobre el principio de la energía libre , la variedad estadística en cuestión posee una manta de Markov . ^[7]

Referencias

1. Gorban, AN; Tyukin, IY (2018). "Bendición de la dimensionalidad: fundamentos matemáticos de la física estadística de los datos". Fil. Trans. R. Soc. A . 15 (3): 20170237. Código bibliográfico : 2018RSPTA.37670237G. doi :10.1098/rsta.2017.0237. PMC  5869543 . PMID  29555807.
2. Cayton, L. (2005). Algoritmos para aprendizaje múltiple (PDF) (Reporte técnico). Universidad de California en San Diego. pag. 1. 12(1–17).
3. Fefferman, Charles; Mitter, Sanjoy; Narayanan, Hariharan (9 de febrero de 2016). "Prueba de la hipótesis múltiple". Revista de la Sociedad Matemática Estadounidense . 29 (4): 983–1049. arXiv : 1310.0425 . doi : 10.1090/jams/852. S2CID  50258911.
4. Olá, Christopher (2014). "Blog: redes neuronales, variedades y topología".
5. Chollet, Francois (2021). Aprendizaje profundo con Python (2ª ed.). Manning . págs. 128-129. ISBN 9781617296864.
6. Caticha, Ariel (2015). Geometría a partir de la Geometría de la Información . MaxEnt 2015, el 35º Taller internacional sobre inferencia bayesiana y métodos de máxima entropía en ciencia e ingeniería. arXiv : 1512.09076 .
7. Kirchhoff, Michael; Parr, Thomas; Palacios, Ensor; Friston, Karl; Kiverstein, Julián (2018). "Las mantas de vida de Markov: autonomía, inferencia activa y el principio de energía libre". JR Soc. Interfaz . 15 (138): 20170792. doi :10.1098/rsif.2017.0792. PMC 5805980 . PMID  29343629. 

Otras lecturas

• Marrón, Bradley CA; Caterini, Antonio L.; Ross, Brendan Leigh; Cresswell, Jesse C.; Loaiza-Ganem, Gabriel (2023). La hipótesis de la unión de variedades y sus implicaciones para el modelado generativo profundo. La XI Conferencia Internacional sobre Representaciones del Aprendizaje. arXiv : 2207.02862 .
• Lee, Yonghyeon (2023). Una perspectiva geométrica de los codificadores automáticos . arXiv : 2309.08247 .