stringtranslate.com

Red neuronal óptica

Esquema de una red neuronal óptica que funciona como una puerta lógica (arriba) y su implementación en frecuencias de microondas (abajo). Las metasuperficies difractivas intermedias funcionan como capas ocultas . [1]

Una red neuronal óptica es una implementación física de una red neuronal artificial con componentes ópticos . Las primeras redes neuronales ópticas utilizaban un holograma de volumen fotorrefractivo para interconectar matrices de neuronas de entrada con matrices de salida con pesos sinápticos proporcionales a la fuerza del holograma multiplexado. [2] Los hologramas de volumen se multiplexaron aún más utilizando la quema de agujeros espectrales para agregar una dimensión de longitud de onda al espacio para lograr interconexiones de cuatro dimensiones de matrices bidimensionales de entradas y salidas neuronales. [3] Esta investigación condujo a una amplia investigación sobre métodos alternativos que utilizan la fuerza de la interconexión óptica para implementar comunicaciones neuronales. [4]

Algunas redes neuronales artificiales que se han implementado como redes neuronales ópticas incluyen la red neuronal de Hopfield [5] y el mapa autoorganizado de Kohonen con moduladores de luz espacial de cristal líquido [6]. Las redes neuronales ópticas también pueden basarse en los principios de la ingeniería neuromórfica , creando sistemas fotónicos neuromórficos . Por lo general, estos sistemas codifican información en las redes utilizando picos, imitando la funcionalidad de las redes neuronales de picos en hardware óptico y fotónico. Los dispositivos fotónicos que han demostrado funcionalidades neuromórficas incluyen (entre otros) láseres emisores de superficie de cavidad vertical , [7] [8] moduladores fotónicos integrados, [9] sistemas optoelectrónicos basados ​​en uniones Josephson superconductoras [10] o sistemas basados ​​en diodos de tunelaje resonantes . [11]

Redes neuronales electroquímicas y redes neuronales ópticas

Las redes neuronales biológicas funcionan sobre una base electroquímica, mientras que las redes neuronales ópticas utilizan ondas electromagnéticas. Las interfaces ópticas para redes neuronales biológicas se pueden crear con optogenética , pero no es lo mismo que una red neuronal óptica. En las redes neuronales biológicas existen muchos mecanismos diferentes para cambiar dinámicamente el estado de las neuronas, estos incluyen plasticidad sináptica a corto y largo plazo . La plasticidad sináptica es uno de los fenómenos electrofisiológicos utilizados para controlar la eficiencia de la transmisión sináptica, a largo plazo para el aprendizaje y la memoria, y a corto plazo para cambios transitorios cortos en la eficiencia de la transmisión sináptica. Implementar esto con componentes ópticos es difícil, e idealmente requiere materiales fotónicos avanzados. Las propiedades que podrían ser deseables en los materiales fotónicos para redes neuronales ópticas incluyen la capacidad de cambiar su eficiencia de transmisión de luz, en función de la intensidad de la luz entrante.

La era en ascenso de las redes neuronales ópticas

Con la creciente importancia de la visión artificial en varios dominios, el costo computacional de estas tareas ha aumentado, haciendo más importante el desarrollo de nuevos enfoques para la aceleración del procesamiento. La computación óptica ha surgido como una alternativa potencial a la aceleración de GPU para las redes neuronales modernas, particularmente considerando la inminente obsolescencia de la Ley de Moore. En consecuencia, las redes neuronales ópticas han ganado una mayor atención en la comunidad de investigación. Actualmente, se están investigando dos métodos principales de computación neuronal óptica: la fotónica de silicio y la óptica de espacio libre. Cada enfoque tiene sus ventajas y desventajas; si bien la fotónica de silicio puede ofrecer una velocidad superior, carece del paralelismo masivo que puede ofrecer la óptica de espacio libre. Dadas las importantes capacidades de paralelismo de la óptica de espacio libre, los investigadores se han centrado en aprovecharlas. Una implementación, propuesta por Lin et al., [12] implica el entrenamiento y la fabricación de máscaras de fase para un clasificador de dígitos escritos a mano. Al apilar máscaras de fase impresas en 3D, la luz que pasa a través de la red fabricada puede ser leída por una matriz de fotodetectores de diez detectores, cada uno representando una clase de dígito que va del 1 al 10. Aunque esta red puede lograr una clasificación en el rango de terahercios, carece de flexibilidad, ya que las máscaras de fase se fabrican para una tarea específica y no se pueden volver a entrenar. Un método alternativo para la clasificación en óptica de espacio libre, introducido por Cahng et al., [13] emplea un sistema 4F que se basa en el teorema de convolución para realizar operaciones de convolución. Este sistema utiliza dos lentes para ejecutar las transformadas de Fourier de la operación de convolución, lo que permite la conversión pasiva al dominio de Fourier sin consumo de energía ni latencia. Sin embargo, los núcleos de la operación de convolución en esta implementación también son máscaras de fase fabricadas, lo que limita la funcionalidad del dispositivo solo a capas convolucionales específicas de la red. Por el contrario, Li et al. [14] propuso una técnica que implica el teselado de núcleos para utilizar el paralelismo del sistema 4F mientras se utiliza un dispositivo de microespejos digitales (DMD) en lugar de una máscara de fase. Este enfoque permite a los usuarios cargar varios núcleos en el sistema 4F y ejecutar la inferencia de toda la red en un solo dispositivo. Desafortunadamente, las redes neuronales modernas no están diseñadas para los sistemas 4F, ya que se desarrollaron principalmente durante la era de la CPU/GPU. Principalmente porque tienden a utilizar una resolución más baja y una gran cantidad de canales en sus mapas de características.

Otras implementaciones

En 2007 existía un modelo de red neuronal óptica: la computadora analógica/de matriz óptica programable (POAC, por sus siglas en inglés). Se había implementado en el año 2000 y se informó que se basaba en el correlador de transformada conjunta de Fourier (JTC, por sus siglas en inglés) modificado y la bacteriorrodopsina (BR, por sus siglas en inglés) como memoria óptica holográfica. El paralelismo total, el gran tamaño de la matriz y la velocidad de la luz son tres promesas que ofrece la POAC para implementar una CNN óptica. Se han investigado durante los últimos años con sus limitaciones y consideraciones prácticas que dieron como resultado el diseño de la primera versión portátil de la POAC.

Los detalles prácticos (hardware (configuraciones ópticas) y software (plantillas ópticas)) ya se han publicado. Sin embargo, POAC es una computadora de matriz programable y de propósito general que tiene una amplia gama de aplicaciones, entre las que se incluyen:

Progreso en la década de 2020

Taichi, de la Universidad Tsinghua de Pekín, es una red neuronal convolucional híbrida que combina la eficiencia energética y el paralelismo de la difracción óptica con la configurabilidad de la interferencia óptica. Taichi ofrece 13,96 millones de parámetros. Taichi evita las altas tasas de error que afectan a las redes profundas (multicapa) combinando grupos de unidades difractivas de menos capas con conjuntos de interferómetros para un cálculo reconfigurable. Su protocolo de codificación divide los modelos de red grandes en submodelos que se pueden distribuir en varios chiplets en paralelo. [15]

Taichi logró una precisión del 91,89% en las pruebas con la base de datos Omniglot . También se utilizó para generar música de Bach y generar imágenes de los estilos de Van Gogh y Munch . [15]

Los desarrolladores afirmaron una eficiencia energética de hasta 160 billones de operaciones segundo -1 vatio -1 y una eficiencia de área de 880 billones de operaciones de acumulación múltiple mm -2 o 10 3 más eficiente energéticamente que el NVIDIA H100 , y 10 2 veces más eficiente energéticamente y 10 veces más eficiente en área que las ONN anteriores. [15]

Véase también

Referencias

  1. ^ Qian, Chao; Lin, Xiao; Lin, Xiaobin; Xu, Jian; Sun, Yang; Li, Erping; Zhang, Baile; Chen, Hongsheng (2020). "Realización de operaciones lógicas ópticas mediante una red neuronal difractiva". Light: Science & Applications . 9 (59): 59. Bibcode :2020LSA.....9...59Q. doi :10.1038/s41377-020-0303-2. PMC  7154031 . PMID  32337023.
  2. ^ Wagner K, Psaltis D (1988). "Redes ópticas adaptativas utilizando cristales fotorrefractivos". Appl. Opt . 27 (9): 1752–1759. Bibcode :1988ApOpt..27.1752P. doi :10.1364/AO.27.001752. PMID  20531647.
  3. ^ Weverka R, Wagner K, Saffman M (1991). "Matrices neuronales bidimensionales totalmente interconectadas que utilizan hologramas de volumen multiplexados por longitud de onda". Optics Letters . 16 (11): 826–828. Bibcode :1991OptL...16..826W. doi :10.1364/OL.16.000826. PMID  19776798.
  4. ^ Wagner K, Psaltis D (1993). "Redes neuronales ópticas: una introducción por los editores de características". Appl. Opt . 32 (8): 1261–1263. Bibcode :1993ApOpt..32.1261W. doi :10.1364/AO.32.001261. PMID  20820259.
  5. ^ Ramachandran R, Gunasekaran N (2000). "Implementación óptica de la red neuronal del modelo de Hopfield bipolar bidimensional (nota científica)" (PDF) . Actas del Consejo Nacional de Ciencias de la República de China, parte A, Ciencias físicas e ingeniería . 24 (1): 73–8. Archivado desde el original (PDF) el 12 de octubre de 2004.
  6. ^ Duvillier J, Killinger M, Heggarty K, Yao K, de Bougrenet de la Tocnaye JL (enero de 1994). "Implementación totalmente óptica de un mapa autoorganizado: un enfoque preliminar". Óptica Aplicada . 33 (2): 258–66. Bibcode :1994ApOpt..33..258D. doi :10.1364/AO.33.000258. PMID  20862015.
  7. ^ Hejda M, Robertson J, Bueno J, Alanis J, Hurtado A (1 de junio de 2021). "Codificación neuromórfica de datos de píxeles de imagen en trenes de picos ópticos codificados por velocidad con una neurona VCSEL fotónica". APL Photonics . 6 (6): 060802. Bibcode :2021APLP....6f0802H. doi : 10.1063/5.0048674 . ISSN  2378-0967.
  8. ^ Robertson J, Hejda M, Bueno J, Hurtado A (abril de 2020). "Integración óptica ultrarrápida y clasificación de patrones para fotónica neuromórfica basada en neuronas VCSEL activadas". Scientific Reports . 10 (1): 6098. Bibcode :2020NatSR..10.6098R. doi :10.1038/s41598-020-62945-5. PMC 7142074 . PMID  32269249. 
  9. ^ George JK, Mehrabian A, Amin R, Meng J, de Lima TF, Tait AN, et al. (febrero de 2019). "Fotónica neuromórfica con moduladores de electroabsorción". Optics Express . 27 (4): 5181–5191. arXiv : 1809.03545 . Bibcode :2019OExpr..27.5181G. doi :10.1364/OE.27.005181. PMID  30876120. S2CID  80625696.
  10. ^ Shainline JM (enero de 2020). "Procesamiento fluxónico de eventos de sinapsis fotónica". IEEE Journal of Selected Topics in Quantum Electronics . 26 (1): 1–15. arXiv : 1904.02807 . Bibcode :2020IJSTQ..2627473S. doi :10.1109/JSTQE.2019.2927473. ISSN  1077-260X. S2CID  102352120.
  11. ^ Romeira B, Javaloyes J, Ironside CN, Figueiredo JM, Balle S, Piro O (septiembre de 2013). "Excitabilidad y generación de pulsos ópticos en láseres semiconductores accionados por fotodetectores de diodos de efecto túnel resonante". Optics Express . 21 (18): 20931–40. Bibcode :2013OExpr..2120931R. doi :10.1364/OE.21.020931. hdl : 10400.1/11954 . PMID  24103966. S2CID  480070.
  12. ^ Lin, Xing; Rivenson, Yair; Yardimci, Nezih T.; Veli, Muhammed; Luo, Yi; Jarrahi, Mona; Ozcan, Aydogan (7 de septiembre de 2018). "Aprendizaje automático totalmente óptico mediante redes neuronales profundas difractivas". Science . 361 (6406): 1004–1008. arXiv : 1804.08711 . Bibcode :2018Sci...361.1004L. doi :10.1126/science.aat8084. PMID  30049787. S2CID  13753997.
  13. ^ Chang, Julie; Sitzmann, Vincent; Dun, Xiong; Heidrich, Wolfgang; Wetzstein, Gordon (17 de agosto de 2018). "Redes neuronales convolucionales óptico-electrónicas híbridas con óptica difractiva optimizada para la clasificación de imágenes". Scientific Reports . 8 (1): 12324. Bibcode :2018NatSR...812324C. doi :10.1038/s41598-018-30619-y. PMC 6098044 . PMID  30120316. S2CID  256961403. 
  14. ^ Li, Shurui; Miscuglio, Mario; Sorger, Volker J.; Gupta, Puneet (2020). "Mosaico de canales para mejorar el rendimiento y la precisión de los aceleradores de redes neuronales ópticas". arXiv : 2011.07391 [cs.ET].
  15. ^ abc CHOI, CHARLES Q. (12 de abril de 2024). "AI Chip Trims Energy Budget Back by 99+ Percent - IEEE Spectrum". IEEE . Consultado el 17 de abril de 2024 .