Alineación del colector

Clase de algoritmos de aprendizaje automático

La alineación de variedades es una clase de algoritmos de aprendizaje automático que producen proyecciones entre conjuntos de datos, dado que los conjuntos de datos originales se encuentran en una variedad común . El concepto fue introducido por primera vez como tal por Ham, Lee y Saul en 2003, ^[1] agregando una restricción de variedad al problema general de correlacionar conjuntos de vectores de alta dimensión. ^[2]

Descripción general

La alineación de variedades presupone que conjuntos de datos dispares producidos por procesos de generación similares compartirán una representación de variedad subyacente similar . Al aprender proyecciones de cada espacio original a la variedad compartida, se recuperan las correspondencias y el conocimiento de un dominio se puede transferir a otro. La mayoría de las técnicas de alineación de variedades consideran solo dos conjuntos de datos, pero el concepto se extiende a una cantidad arbitraria de conjuntos de datos iniciales.

Consideremos el caso de alinear dos conjuntos de datos, y , con y . ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X_{i}\in \mathbb {R} ^{m}}$ ${\displaystyle Y_{i}\in \mathbb {R} ^{n}}$

Los algoritmos de alineación de variedades intentan proyectar tanto y en un nuevo espacio d -dimensional de modo que las proyecciones minimicen la distancia entre los puntos correspondientes y conserven la estructura de variedad local de los datos originales. Las funciones de proyección se denotan: ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle \phi _{X}:\,\mathbb {R} ^{m}\rightarrow \mathbb {R} ^{d}}$

${\displaystyle \phi _{Y}:\,\mathbb {R} ^{n}\rightarrow \mathbb {R} ^{d}}$

Sea la matriz de correspondencia binaria entre los puntos en y : ${\displaystyle W}$ ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle W_{i,j}={\begin{cases}1&if\,X_{i}\leftrightarrow Y_{j}\\0&otherwise\end{cases}}}$

Sean y representen similitudes puntuales dentro de conjuntos de datos. Esto suele codificarse como el núcleo de calor de la matriz de adyacencia de un grafo de k vecinos más cercanos . ${\displaystyle S_{X}}$ ${\displaystyle S_{Y}}$

Por último, introduzca un coeficiente que se pueda ajustar para ajustar el peso del objetivo "preservar la estructura de la variedad" frente al objetivo "minimizar las distancias de los puntos correspondientes". ${\displaystyle 0\leq \mu \leq 1}$

Con estas definiciones en su lugar, la función de pérdida para la alineación de variedades se puede escribir:

${\displaystyle \arg \min _{\phi _{X},\phi _{Y}}\mu \sum _{i,j}\left\Vert \phi _{X}\left(X_{i}\right)-\phi _{X}\left(X_{j}\right)\right\Vert ^{2}S_{X,i,j}+\mu \sum _{i,j}\left\Vert \phi _{Y}\left(Y_{i}\right)-\phi _{Y}\left(Y_{j}\right)\right\Vert ^{2}S_{Y,i,j}+\left(1-\mu \right)\sum _{i,j}\Vert \phi _{X}\left(X_{i}\right)-\phi _{Y}\left(Y_{j}\right)\Vert ^{2}W_{i,j}}$

Resolver este problema de optimización es equivalente a resolver un problema de valor propio generalizado utilizando el laplaciano gráfico ^[3] de la matriz conjunta, G :

${\displaystyle G=\left[{\begin{array}{cc}\mu S_{X}&\left(1-\mu \right)W\\\left(1-\mu \right)W^{T}&\mu S_{Y}\end{array}}\right]}$

Correspondencias entre datos

El algoritmo descrito anteriormente requiere información completa de correspondencia por pares entre conjuntos de datos de entrada; un paradigma de aprendizaje supervisado . Sin embargo, esta información suele ser difícil o imposible de obtener en aplicaciones del mundo real. Trabajos recientes han extendido el algoritmo de alineación de variedades central a configuraciones semisupervisadas ^[4] , no supervisadas ^[5] y de múltiples instancias ^{[6] .}

Alineación de un paso vs. alineación de dos pasos

El algoritmo descrito anteriormente realiza una alineación de "un paso", encontrando incrustaciones para ambos conjuntos de datos al mismo tiempo. También se puede lograr un efecto similar con alineaciones de "dos pasos" ^{[7] [8]} , siguiendo un procedimiento ligeramente modificado:

1. Proyecte cada conjunto de datos de entrada a un espacio de menor dimensión de forma independiente, utilizando cualquiera de una variedad de algoritmos de reducción de dimensión .
2. Realizar una alineación lineal de la variedad en los datos integrados, manteniendo fijo el primer conjunto de datos y asignando cada conjunto de datos adicional a la variedad del primero. Este enfoque tiene la ventaja de descomponer el cálculo requerido, lo que reduce la sobrecarga de memoria y permite implementaciones paralelas.

Proyecciones a nivel de instancia y a nivel de función

La alineación de variedades se puede utilizar para encontrar proyecciones lineales (a nivel de características) o incrustaciones no lineales (a nivel de instancia). Si bien la versión a nivel de instancia generalmente produce alineaciones más precisas, sacrifica un gran grado de flexibilidad ya que la incrustación aprendida suele ser difícil de parametrizar. Las proyecciones a nivel de características permiten que cualquier nueva instancia se incruste fácilmente en el espacio de variedades y las proyecciones se pueden combinar para formar asignaciones directas entre las representaciones de datos originales. Estas propiedades son especialmente importantes para las aplicaciones de transferencia de conocimiento.

Aplicaciones

La alineación de variedades es adecuada para problemas con varios corpus que se encuentran en una variedad compartida, incluso cuando cada corpus tiene una dimensionalidad diferente. Muchos problemas del mundo real se ajustan a esta descripción, pero las técnicas tradicionales no pueden aprovechar todos los corpus al mismo tiempo. La alineación de variedades también facilita el aprendizaje por transferencia , en el que el conocimiento de un dominio se utiliza para impulsar el aprendizaje en dominios correlacionados.

Las aplicaciones de la alineación de colectores incluyen:

• Recuperación de información en varios idiomas / traducción automática ^[8]
  • Al representar documentos como vectores de recuentos de palabras, la alineación múltiple puede recuperar la correspondencia entre documentos de diferentes idiomas.
  • La correspondencia de documentos entre idiomas es relativamente fácil de obtener, especialmente de organizaciones multilingües como la Unión Europea .
• Transferencia de aprendizaje de políticas y representaciones estatales para el aprendizaje de refuerzo ^[8]
• Alineación de estructuras de RMN de proteínas ^[8]
• Aceleración del aprendizaje de modelos en robótica mediante el intercambio de datos generados por otros robots ^[9]

Véase también

• Hipótesis de colectores

Referencias

1. Ham, Ji Hun; Daniel D. Lee; Lawrence K. Saul (2003). "Aprendizaje de correspondencias de alta dimensión a partir de variedades de baja dimensión" (PDF) . Actas de la Vigésima Conferencia Internacional sobre Aprendizaje Automático (ICML-2003) .
2. Hotelling, H (1936). "Relaciones entre dos conjuntos de variables" (PDF) . Biometrika . 28 (3–4): 321–377. doi :10.2307/2333955. JSTOR  2333955.
3. Belkin, M; P Niyogi (2003). "Mapas propios laplacianos para la reducción de dimensionalidad y la representación de datos" (PDF) . Neural Computation . 15 (6): 1373–1396. CiteSeerX 10.1.1.192.8814 . doi :10.1162/089976603321780317. S2CID  14879317. 
4. Ham, Ji Hun; Daniel D. Lee; Lawrence K. Saul (2005). "Alineación semisupervisada de variedades" (PDF) . Actas de la Conferencia anual sobre incertidumbre en inteligencia artificial .
5. Wang, Chang; Sridhar Mahadevan (2009). Alineación de variedades sin correspondencia (PDF) . La 21.ª Conferencia conjunta internacional sobre inteligencia artificial.^{[ enlace muerto permanente ]}
6. Wang, Chang; Sridhar Mahadevan (2011). Adaptación de dominios heterogéneos mediante alineación de variedades (PDF) . 22.ª Conferencia conjunta internacional sobre inteligencia artificial. Archivado desde el original (PDF) el 15 de abril de 2012. Consultado el 14 de diciembre de 2011 .
7. Lafon, Stephane; Yosi Keller; Ronald R. Coifman (2006). "Fusión de datos y correspondencia de datos multicue mediante mapas de difusión" (PDF) . IEEE Transactions on Pattern Analysis and Machine Intelligence . 28 (11): 1784–1797. CiteSeerX 10.1.1.419.1814 . doi :10.1109/tpami.2006.223. PMID  17063683. S2CID  1186335. ^{[ enlace muerto permanente ]}
8. Wang, Chang; Sridhar Mahadevan (2008). Alineación de variedades mediante análisis de Procrustes (PDF) . 25.ª Conferencia internacional sobre aprendizaje automático.^{[ enlace muerto permanente ]}
9. Makondo, Ndivhuwo; Benjamin Rosman; Osamu Hasegawa (2015). Transferencia de conocimiento para el aprendizaje de modelos de robots mediante análisis local de Procrustes . La 15.ª Conferencia internacional IEEE-RAS sobre robots humanoides (humanoides). CiteSeerX 10.1.1.728.8830 . doi :10.1109/HUMANOIDS.2015.7363502. 

Lectura adicional

• Xiong, L.; F. Wang; C. Zhang (2007). "Alineamiento de variedades semidefinidas". Actas de la 18.ª Conferencia Europea sobre Aprendizaje Automático . CiteSeerX  10.1.1.91.7346 .
• Wang, Chang; Sridhar Mahadevan (2009). "Un marco general para la alineación de variedades" (PDF) . Simposio de otoño de la AAAI sobre aprendizaje de variedades y sus aplicaciones .
• Wang, Chang; Sridhar Mahadevan (2010). "Alineación de colectores multiescala" (PDF) . Univ. de Massachusetts TR UM-CS-2010-049 .
• Ma, Yunqian (15 de abril de 2012). Teoría del aprendizaje múltiple y aplicaciones. Taylor & Francis Group. pág. 376. ISBN 978-1-4398-7109-6.
• Descripción general de la alineación del colector de Chang Wang