Red neuronal convolucional

Red neuronal artificial

La red neuronal convolucional ( CNN ) es un tipo regularizado de red neuronal de retroalimentación que aprende la ingeniería de características por sí misma mediante la optimización de filtros (o kernel). Los gradientes que desaparecen y explotan, observados durante la retropropagación en redes neuronales anteriores, se evitan mediante el uso de pesos regularizados en menos conexiones. ^{[1] [2]} Por ejemplo, para cada neurona en la capa completamente conectada se necesitarían 10.000 pesos para procesar una imagen de tamaño 100 × 100 píxeles. Sin embargo, al aplicar núcleos de convolución (o correlación cruzada) en cascada, ^{[3] [4]} solo se requieren 25 neuronas para procesar mosaicos de tamaño 5x5. ^{[5] [6]} Las características de la capa superior se extraen de ventanas de contexto más amplias, en comparación con las características de la capa inferior.

Tienen aplicaciones en:

• reconocimiento de imagen y vídeo , ^[7]
• sistemas de recomendación , ^[8]
• clasificación de imágenes ,
• Segmentación de imagen ,
• análisis de imágenes médicas ,
• procesamiento del lenguaje natural , ^[9]
• interfaces cerebro-computadora , ^[10] y
• series de tiempo financieras . ^[11]

Las CNN también se conocen como redes neuronales artificiales invariantes de desplazamiento o invariantes de espacio ( SIANN ), basadas en la arquitectura de peso compartido de los núcleos de convolución o filtros que se deslizan a lo largo de las características de entrada y proporcionan respuestas equivalentes a la traducción conocidas como mapas de características. ^{[12] [13]} Contrariamente a la intuición, la mayoría de las redes neuronales convolucionales no son invariantes a la traducción , debido a la operación de reducción de resolución que aplican a la entrada. ^[14]

Las redes neuronales de retroalimentación suelen ser redes completamente conectadas, es decir, cada neurona de una capa está conectada a todas las neuronas de la siguiente capa . La "total conectividad" de estas redes las hace propensas a sobreajustar los datos. Las formas típicas de regularización, o prevención del sobreajuste, incluyen: penalizar los parámetros durante el entrenamiento (como la disminución de peso) o recortar la conectividad (conexiones omitidas, abandonos, etc.). Los conjuntos de datos sólidos también aumentan la probabilidad de que las CNN aprendan los principios generalizados que caracterizan un determinado conjunto de datos en lugar de los sesgos de un conjunto pobremente poblado. ^[15]

Las redes convolucionales se inspiraron en procesos biológicos ^{[16] [17] [18] [19]} en el sentido de que el patrón de conectividad entre neuronas se asemeja a la organización de la corteza visual animal . Las neuronas corticales individuales responden a estímulos sólo en una región restringida del campo visual conocida como campo receptivo . Los campos receptivos de diferentes neuronas se superponen parcialmente de modo que cubren todo el campo visual.

Las CNN utilizan relativamente poco preprocesamiento en comparación con otros algoritmos de clasificación de imágenes . Esto significa que la red aprende a optimizar los filtros (o núcleos) mediante el aprendizaje automatizado, mientras que en los algoritmos tradicionales estos filtros están diseñados manualmente . Esta independencia del conocimiento previo y la intervención humana en la extracción de características es una gran ventaja. ^{[ ¿ A quien? ]}

Arquitectura

Comparación de la convolución, agrupación y capas densas de LeNet y AlexNet
(el tamaño de la imagen de AlexNet debe ser 227 × 227 × 3, en lugar de 224 × 224 × 3, para que los cálculos salgan bien. El artículo original decía números diferentes, pero Andrej Karpathy , el jefe de visión por computadora de Tesla, dijo que debería ser 227×227×3 (dijo que Alex no describió por qué puso 224×224×3). La siguiente convolución debería ser 11×11 con paso 4:55× 55×96 (en lugar de 54×54×96). Se calcularía, por ejemplo, como: [(ancho de entrada 227 - ancho del núcleo 11) / zancada 4] + 1 = [(227 - 11) / 4] + 1 = 55. Dado que la salida del núcleo tiene el mismo largo que ancho, su área es 55×55.)

Una red neuronal convolucional consta de una capa de entrada, capas ocultas y una capa de salida. En una red neuronal convolucional, las capas ocultas incluyen una o más capas que realizan convoluciones. Normalmente, esto incluye una capa que realiza un producto escalar del núcleo de convolución con la matriz de entrada de la capa. Este producto suele ser el producto interno de Frobenius y su función de activación suele ser ReLU . A medida que el núcleo de convolución se desliza a lo largo de la matriz de entrada de la capa, la operación de convolución genera un mapa de características, que a su vez contribuye a la entrada de la siguiente capa. A esto le siguen otras capas, como capas de agrupación, capas completamente conectadas y capas de normalización. Aquí cabe señalar qué tan cerca están las redes neuronales convolucionales de un filtro coincidente . ^[20]

Capas convolucionales

En una CNN, la entrada es un tensor con forma:

(número de entradas) × (alto de entrada) × (ancho de entrada) × ( canales de entrada )

Después de pasar por una capa convolucional, la imagen se abstrae en un mapa de características, también llamado mapa de activación, con la forma:

(número de entradas) × (altura del mapa de funciones) × (ancho del mapa de funciones) × ( canales del mapa de funciones ).

Las capas convolucionales convolucionan la entrada y pasan su resultado a la siguiente capa. Esto es similar a la respuesta de una neurona en la corteza visual a un estímulo específico. ^[21] Cada neurona convolucional procesa datos solo para su campo receptivo .

Ejemplo de avance de red neuronal convolucional 1D

Aunque se pueden utilizar redes neuronales de alimentación directa completamente conectadas para aprender características y clasificar datos, esta arquitectura generalmente no es práctica para entradas más grandes (por ejemplo, imágenes de alta resolución), que requerirían cantidades masivas de neuronas porque cada píxel es una característica de entrada relevante. Una capa completamente conectada para una imagen de tamaño 100 × 100 tiene 10.000 pesos para cada neurona en la segunda capa. La convolución reduce la cantidad de parámetros libres, lo que permite que la red sea más profunda. ^[5] Por ejemplo, usar una región de mosaico de 5 × 5, cada una con los mismos pesos compartidos, requiere solo 25 neuronas. El uso de pesos regularizados en menos parámetros evita los problemas de gradientes de desaparición y gradientes explosivos que se observan durante la retropropagación en redes neuronales anteriores. ^{[1] [2]}

Para acelerar el procesamiento, las capas convolucionales estándar se pueden reemplazar por capas convolucionales separables en profundidad, ^[22] que se basan en una convolución en profundidad seguida de una convolución puntual. La convolución en profundidad es una convolución espacial aplicada de forma independiente sobre cada canal del tensor de entrada, mientras que la convolución puntual es una convolución estándar restringida al uso de núcleos. ${\displaystyle 1\times 1}$

Capas de agrupación

Las redes convolucionales pueden incluir capas de agrupación locales y/o globales junto con capas convolucionales tradicionales. Las capas de agrupación reducen las dimensiones de los datos al combinar las salidas de los grupos de neuronas en una capa en una sola neurona en la siguiente capa. La agrupación local combina pequeños grupos; comúnmente se utilizan tamaños de mosaico como 2 × 2. La agrupación global actúa sobre todas las neuronas del mapa de características. ^{[23] [24]} Hay dos tipos comunes de agrupación de uso popular: máxima y promedio. La agrupación máxima utiliza el valor máximo de cada grupo local de neuronas en el mapa de características, ^{[25] [26]} mientras que la agrupación promedio toma el valor promedio.

Capas completamente conectadas

Las capas completamente conectadas conectan cada neurona de una capa con cada neurona de otra capa. Es lo mismo que una red neuronal de perceptrón multicapa (MLP) tradicional. La matriz aplanada pasa por una capa completamente conectada para clasificar las imágenes.

Campo receptivo

En las redes neuronales, cada neurona recibe información de una cierta cantidad de ubicaciones en la capa anterior. En una capa convolucional, cada neurona recibe información de solo un área restringida de la capa anterior llamada campo receptivo de la neurona . Normalmente el área es un cuadrado (por ejemplo, 5 por 5 neuronas). Mientras que, en una capa completamente conectada, el campo receptivo es toda la capa anterior . Por lo tanto, en cada capa convolucional, cada neurona recibe información de un área más grande en la entrada que las capas anteriores. Esto se debe a la aplicación de la convolución una y otra vez, que tiene en cuenta el valor de un píxel, así como los píxeles circundantes. Cuando se utilizan capas dilatadas, el número de píxeles en el campo receptivo permanece constante, pero el campo está menos poblado a medida que sus dimensiones crecen cuando se combina el efecto de varias capas.

Para manipular el tamaño del campo receptivo como se desee, existen algunas alternativas a la capa convolucional estándar. Por ejemplo, la convolución atroz o dilatada ^{[27] [28]} expande el tamaño del campo receptivo sin aumentar el número de parámetros entrelazando regiones visibles y ciegas. Además, una única capa convolucional dilatada puede comprender filtros con múltiples relaciones de dilatación, ^[29] teniendo así un tamaño de campo receptivo variable.

Pesos

Cada neurona de una red neuronal calcula un valor de salida aplicando una función específica a los valores de entrada recibidos del campo receptivo en la capa anterior. La función que se aplica a los valores de entrada está determinada por un vector de pesos y un sesgo (normalmente números reales). El aprendizaje consiste en ajustar iterativamente estos sesgos y ponderaciones.

Los vectores de pesos y sesgos se denominan filtros y representan características particulares de la entrada (por ejemplo, una forma particular). Una característica distintiva de las CNN es que muchas neuronas pueden compartir el mismo filtro. Esto reduce la huella de memoria porque se utiliza un único sesgo y un único vector de ponderaciones en todos los campos receptivos que comparten ese filtro, en lugar de que cada campo receptivo tenga su propio sesgo y ponderación vectorial. ^[30]

Historia

Las CNN se comparan a menudo con la forma en que el cerebro procesa la visión en los organismos vivos . ^{[31] [32]}

Campos receptivos en la corteza visual.

El trabajo de Hubel y Wiesel en las décadas de 1950 y 1960 demostró que la corteza visual de los gatos contiene neuronas que responden individualmente a pequeñas regiones del campo visual . Siempre que los ojos no se muevan, la región del espacio visual dentro de la cual los estímulos visuales afectan la activación de una sola neurona se conoce como campo receptivo . ^[33] Las células vecinas tienen campos receptivos similares y superpuestos. ^[31] El tamaño y la ubicación del campo receptivo varían sistemáticamente a lo largo de la corteza para formar un mapa completo del espacio visual. ^{[31] [ cita necesaria ]} La corteza de cada hemisferio representa el campo visual contralateral . ^{[ cita necesaria ]}

Su artículo de 1968 identificó dos tipos básicos de células visuales en el cerebro: ^[17]

• Células simples , cuya producción se maximiza mediante bordes rectos que tienen orientaciones particulares dentro de su campo receptivo.
• Células complejas , que tienen campos receptivos más grandes , cuya salida es insensible a la posición exacta de los bordes en el campo.

Hubel y Wiesel también propusieron un modelo en cascada de estos dos tipos de células para su uso en tareas de reconocimiento de patrones. ^{[34] [33]}

Neocognitron, origen de la arquitectura CNN

El " neocognitrón " ^[16] fue introducido por Kunihiko Fukushima en 1980. ^{[18] [26] [35]} Se inspiró en el trabajo antes mencionado de Hubel y Wiesel. El neocognitrón introdujo los dos tipos básicos de capas en las CNN:

• Una capa convolucional que contiene unidades cuyos campos receptivos cubren una parte de la capa anterior. El vector de peso (el conjunto de parámetros adaptativos) de dicha unidad a menudo se denomina filtro. Las unidades pueden compartir filtros.
• Capas de reducción de resolución que contienen unidades cuyos campos receptivos cubren parches de capas convolucionales anteriores. Una unidad de este tipo normalmente calcula el promedio de las activaciones de las unidades en su parche. Esta reducción de resolución ayuda a clasificar correctamente los objetos en escenas visuales incluso cuando los objetos se mueven.

En 1969, Kunihiko Fukushima también introdujo la función de activación ReLU (unidad lineal rectificada) . ^{[36] [37]} El rectificador se ha convertido en la función de activación más popular para CNN y redes neuronales profundas en general. ^[38]

En una variante del neocognitrón llamada cresceptrón, en lugar de utilizar el promedio espacial de Fukushima, J. Weng et al. en 1993 introdujo un método llamado max-pooling donde una unidad de reducción de resolución calcula el máximo de activaciones de las unidades en su parche. ^[39] La agrupación máxima se utiliza a menudo en las CNN modernas. ^[40]

A lo largo de las décadas se han propuesto varios algoritmos de aprendizaje supervisados ​​y no supervisados ​​para entrenar los pesos de un neocognitrón. ^[16] Hoy en día, sin embargo, la arquitectura CNN generalmente se entrena mediante retropropagación .

El neocognitrón es la primera CNN que requiere que las unidades ubicadas en múltiples posiciones de la red tengan pesos compartidos.

Las redes neuronales convolucionales se presentaron en el Taller de procesamiento de información neuronal en 1987, analizando automáticamente señales que varían en el tiempo reemplazando la multiplicación aprendida con convolución en el tiempo, y se demostraron para el reconocimiento de voz. ^[41]

Redes neuronales con retardo de tiempo

La red neuronal de retardo de tiempo (TDNN) fue introducida en 1987 por Alex Waibel et al. y fue una de las primeras redes convolucionales, ya que logró invariancia de cambio. ^[42] Lo hizo utilizando el peso compartido en combinación con el entrenamiento de retropropagación . ^[43] Por lo tanto, aunque también utilizó una estructura piramidal como en el neocognitrón, realizó una optimización global de los pesos en lugar de una local. ^[42]

Las TDNN son redes convolucionales que comparten pesos a lo largo de la dimensión temporal. ^[44] Permiten que las señales de voz se procesen de forma invariante en el tiempo. En 1990, Hampshire y Waibel introdujeron una variante que realiza una convolución bidimensional. ^[45] Dado que estos TDNN operaban en espectrogramas, el sistema de reconocimiento de fonemas resultante era invariante tanto para los cambios en el tiempo como en la frecuencia. Esto inspiró la invariancia de traducción en el procesamiento de imágenes con CNN. ^[43] El mosaico de las salidas neuronales puede cubrir etapas cronometradas. ^[46]

TDNN ahora ^{[ ¿cuándo? ]} logra el mejor rendimiento en reconocimiento de voz a larga distancia. ^[47]

Agrupación máxima

En 1990 Yamaguchi et al. introdujo el concepto de agrupación máxima, que es una operación de filtrado fijo que calcula y propaga el valor máximo de una región determinada. Lo hicieron combinando TDNN con agrupación máxima para realizar un sistema de reconocimiento de palabras aislado e independiente del hablante. ^[25] En su sistema utilizaron varios TDNN por palabra, uno para cada sílaba . Los resultados de cada TDNN sobre la señal de entrada se combinaron utilizando la agrupación máxima y las salidas de las capas de agrupación luego se pasaron a las redes que realizaban la clasificación de palabras real.

Reconocimiento de imágenes con CNN entrenadas por descenso de gradiente

Un sistema para reconocer números de códigos postales escritos a mano ^[48] implicaba convoluciones en las que los coeficientes del núcleo habían sido laboriosamente diseñados a mano. ^[49]

Yann LeCun et al. (1989) ^[49] utilizaron la propagación hacia atrás para aprender los coeficientes del núcleo de convolución directamente a partir de imágenes de números escritos a mano. Por lo tanto, el aprendizaje fue completamente automático, funcionó mejor que el diseño de coeficientes manual y se adaptó a una gama más amplia de problemas y tipos de imágenes de reconocimiento.

Wei Zhang y cols. (1988) ^{[12] [13]} utilizaron retropropagación para entrenar los núcleos de convolución de una CNN para el reconocimiento de alfabetos. El modelo se llamó Red neuronal artificial invariante por cambios (SIANN) antes de que se acuñara el nombre CNN a principios de la década de 1990. Wei Zhang y cols. También aplicó la misma CNN sin la última capa completamente conectada para la segmentación de objetos de imágenes médicas (1991) ^[50] y la detección de cáncer de mama en mamografías (1994). ^[51]

Este enfoque se convirtió en la base de la visión por computadora moderna .

LeNet-5

LeNet-5, una red convolucional pionera de 7 niveles diseñada por LeCun et al. En 1995, ^[52] que clasifica los dígitos, fue aplicado por varios bancos para reconocer números escritos a mano en cheques ( inglés británico : checks ) digitalizados en imágenes de 32x32 píxeles. La capacidad de procesar imágenes de mayor resolución requiere más y más capas de redes neuronales convolucionales, por lo que esta técnica está limitada por la disponibilidad de recursos informáticos.

Red neuronal invariante por cambio

Wei Zhang et al. propusieron una red neuronal invariante por cambio. para el reconocimiento de caracteres de imágenes en 1988. ^{[12] [13]} Es un Neocognitron modificado que mantiene solo las interconexiones convolucionales entre las capas de características de la imagen y la última capa completamente conectada. El modelo fue entrenado con retropropagación. El algoritmo de entrenamiento se mejoró aún más en 1991 ^[53] para mejorar su capacidad de generalización. La arquitectura del modelo se modificó eliminando la última capa completamente conectada y se aplicó para la segmentación de imágenes médicas (1991) ^[50] y la detección automática de cáncer de mama en mamografías (1994) . ^[51]

^{En 1988 [54]} se propuso un diseño diferente basado en la convolución para su aplicación a la descomposición de señales convolucionadas de electromiografía unidimensional mediante deconvolución. Este diseño se modificó en 1989 a otros diseños basados ​​en deconvolución. ^{[55] [56]}

Pirámide de abstracción neuronal

Pirámide de abstracción neuronal

La arquitectura de retroalimentación de las redes neuronales convolucionales se amplió en la pirámide de abstracción neuronal ^[57] mediante conexiones laterales y de retroalimentación. La red convolucional recurrente resultante permite la incorporación flexible de información contextual para resolver iterativamente ambigüedades locales. A diferencia de los modelos anteriores, se generaron resultados similares a imágenes con la resolución más alta, por ejemplo, para tareas de segmentación semántica, reconstrucción de imágenes y localización de objetos.

Implementaciones de GPU

Aunque las CNN se inventaron en la década de 1980, su avance en la década de 2000 requirió implementaciones rápidas en unidades de procesamiento de gráficos (GPU).

En 2004, KS Oh y K. Jung demostraron que las redes neuronales estándar se pueden acelerar enormemente en GPU. Su implementación fue 20 veces más rápida que una implementación equivalente en CPU . ^{[58] [40]} En 2005, otro artículo también enfatizó el valor de GPGPU para el aprendizaje automático . ^[59]

La primera implementación GPU de una CNN fue descrita en 2006 por K. Chellapilla et al. Su implementación fue 4 veces más rápida que una implementación equivalente en CPU. ^[60] El trabajo posterior también utilizó GPU, inicialmente para otros tipos de redes neuronales (diferentes de las CNN), especialmente redes neuronales no supervisadas. ^{[61] [62] [63] [64]}

En 2010, Dan Ciresan et al. en IDSIA demostró que incluso las redes neuronales estándar profundas con muchas capas se pueden entrenar rápidamente en GPU mediante aprendizaje supervisado mediante el antiguo método conocido como retropropagación . Su red superó a los métodos anteriores de aprendizaje automático en el punto de referencia de dígitos escritos a mano del MNIST . ^[65] En 2011, ampliaron este enfoque de GPU a las CNN, logrando un factor de aceleración de 60, con resultados impresionantes. ^[23] En 2011, utilizaron este tipo de CNN en GPU para ganar un concurso de reconocimiento de imágenes en el que lograron un rendimiento sobrehumano por primera vez. ^[66] Entre el 15 de mayo de 2011 y el 30 de septiembre de 2012, sus CNN ganaron no menos de cuatro concursos de imagen. ^{[67] [40]} En 2012, también mejoraron significativamente el mejor rendimiento en la literatura para múltiples bases de datos de imágenes , incluida la base de datos MNIST , la base de datos NORB, el conjunto de datos HWDB1.0 (caracteres chinos) y el conjunto de datos CIFAR10 (conjunto de datos de 60000 imágenes RGB etiquetadas de 32x32 ). ^[26]

Posteriormente, una CNN similar basada en GPU realizada por Alex Krizhevsky et al. ganó el ImageNet Large Scale Visual Recognition Challenge 2012. ^[68] Una CNN muy profunda con más de 100 capas de Microsoft ganó el concurso ImageNet 2015. ^[69]

Implementaciones de Intel Xeon Phi

En comparación con el entrenamiento de CNN utilizando GPU , no se prestó mucha atención al coprocesador Intel Xeon Phi . ^[70] Un desarrollo notable es un método de paralelización para entrenar redes neuronales convolucionales en Intel Xeon Phi, llamado Controlled Hogwild with Arbitrary Order of Synchronization (CHAOS). ^[71] CHAOS explota el paralelismo a nivel de subprocesos y SIMD que está disponible en Intel Xeon Phi.

Características distintivas

En el pasado, se utilizaban modelos tradicionales de perceptrón multicapa (MLP) para el reconocimiento de imágenes. ^{[ ejemplo necesario ]} Sin embargo, la conectividad total entre nodos causó la maldición de la dimensionalidad y era computacionalmente intratable con imágenes de mayor resolución. Una imagen de 1000×1000 píxeles con canales de color RGB tiene 3 millones de pesos por neurona completamente conectada, lo cual es demasiado alto para procesarlo de manera eficiente a escala.

Capas de CNN dispuestas en 3 dimensiones.

Por ejemplo, en CIFAR-10 , las imágenes solo tienen un tamaño de 32×32×3 (32 de ancho, 32 de alto, 3 canales de color), por lo que una única neurona completamente conectada en la primera capa oculta de una red neuronal regular tendría 32* 32*3 = 3.072 pesos. Sin embargo, una imagen de 200×200 conduciría a neuronas que tienen 200*200*3 = 120.000 pesos.

Además, dicha arquitectura de red no tiene en cuenta la estructura espacial de los datos, y trata los píxeles de entrada que están muy separados de la misma manera que los píxeles que están muy juntos. Esto ignora la localidad de referencia en datos con topología de cuadrícula (como imágenes), tanto computacional como semánticamente. Por lo tanto, la conectividad total de las neuronas es un desperdicio para propósitos como el reconocimiento de imágenes que están dominados por patrones de entrada espacialmente locales .

Las redes neuronales convolucionales son variantes de perceptrones multicapa, diseñadas para emular el comportamiento de una corteza visual . Estos modelos mitigan los desafíos planteados por la arquitectura MLP al explotar la fuerte correlación espacial local presente en las imágenes naturales. A diferencia de las MLP, las CNN tienen las siguientes características distintivas:

• Volúmenes 3D de neuronas. Las capas de una CNN tienen neuronas dispuestas en 3 dimensiones : ancho, alto y profundidad. ^[72] Donde cada neurona dentro de una capa convolucional está conectada solo a una pequeña región de la capa anterior, llamada campo receptivo. Se apilan distintos tipos de capas, tanto localmente como completamente conectadas, para formar una arquitectura CNN.
• Conectividad local: siguiendo el concepto de campos receptivos, las CNN explotan la localidad espacial imponiendo un patrón de conectividad local entre neuronas de capas adyacentes. La arquitectura asegura así que los " filtros " aprendidos produzcan la respuesta más fuerte a un patrón de entrada espacialmente local. Apilar muchas de estas capas conduce a filtros no lineales que se vuelven cada vez más globales (es decir, responden a una región más grande de espacio de píxeles), de modo que la red primero crea representaciones de pequeñas partes de la entrada y luego, a partir de ellas, ensambla representaciones de áreas más grandes.
• Pesos compartidos: en las CNN, cada filtro se replica en todo el campo visual. Estas unidades replicadas comparten la misma parametrización (vector de peso y sesgo) y forman un mapa de características. Esto significa que todas las neuronas de una capa convolucional determinada responden a la misma característica dentro de su campo de respuesta específico. Replicar unidades de esta manera permite que el mapa de activación resultante sea equivariante bajo cambios de las ubicaciones de las características de entrada en el campo visual, es decir, otorgan equivarianza traslacional , dado que la capa tiene un paso de uno. ^[73]
• Agrupación: en las capas de agrupación de una CNN, los mapas de características se dividen en subregiones rectangulares y las características de cada rectángulo se reducen de forma independiente a un valor único, generalmente tomando su valor promedio o máximo. Además de reducir el tamaño de los mapas de características, la operación de agrupación otorga un grado de invariancia de traducción local a las características contenidas en ellos, lo que permite que la CNN sea más robusta ante las variaciones en sus posiciones. ^[14]

Juntas, estas propiedades permiten a las CNN lograr una mejor generalización de los problemas de visión . El peso compartido reduce drásticamente la cantidad de parámetros libres aprendidos, lo que reduce los requisitos de memoria para ejecutar la red y permite el entrenamiento de redes más grandes y potentes.

Bloques de construcción

Una arquitectura CNN está formada por una pila de capas distintas que transforman el volumen de entrada en un volumen de salida (por ejemplo, que contiene las puntuaciones de las clases) a través de una función diferenciable. Generalmente se utilizan algunos tipos distintos de capas. Estos se analizan con más detalle a continuación.

Neuronas de una capa convolucional (azul), conectadas a su campo receptivo (rojo)

capa convolucional

La capa convolucional es el componente central de una CNN. Los parámetros de la capa constan de un conjunto de filtros aprendibles (o núcleos ), que tienen un pequeño campo receptivo, pero se extienden a lo largo de toda la profundidad del volumen de entrada. Durante el paso directo, cada filtro convoluciona a lo ancho y alto del volumen de entrada, calculando el producto escalar entre las entradas del filtro y la entrada, produciendo un mapa de activación bidimensional de ese filtro. Como resultado, la red aprende filtros que se activan cuando detecta algún tipo específico de característica en alguna posición espacial en la entrada. ^{[74] [nota 1]}

El apilamiento de los mapas de activación para todos los filtros a lo largo de la dimensión de profundidad forma el volumen de salida completo de la capa de convolución. Por lo tanto, cada entrada en el volumen de salida también puede interpretarse como una salida de una neurona que mira una pequeña región de la entrada. Cada entrada en un mapa de activación utiliza el mismo conjunto de parámetros que definen el filtro.

El aprendizaje autosupervisado se ha adaptado para su uso en capas convolucionales mediante el uso de parches dispersos con una proporción de máscara alta y una capa de normalización de respuesta global. ^[75]

Conectividad local

Arquitectura típica de CNN

Cuando se trata de entradas de alta dimensión, como imágenes, no resulta práctico conectar neuronas a todas las neuronas del volumen anterior porque dicha arquitectura de red no tiene en cuenta la estructura espacial de los datos. Las redes convolucionales explotan la correlación espacial local al imponer un patrón de conectividad local escaso entre neuronas de capas adyacentes: cada neurona está conectada solo a una pequeña región del volumen de entrada.

El alcance de esta conectividad es un hiperparámetro llamado campo receptivo de la neurona. Las conexiones son locales en el espacio (a lo ancho y alto), pero siempre se extienden a lo largo de toda la profundidad del volumen de entrada. Dicha arquitectura garantiza que los filtros aprendidos ( inglés británico : aprendido ) produzcan la respuesta más fuerte a un patrón de entrada espacialmente local.

Disposición espacial

Tres hiperparámetros controlan el tamaño del volumen de salida de la capa convolucional: la profundidad, la zancada y el tamaño del relleno:

• La profundidad del volumen de salida controla la cantidad de neuronas en una capa que se conectan a la misma región del volumen de entrada. Estas neuronas aprenden a activarse para diferentes características en la entrada. Por ejemplo, si la primera capa convolucional toma la imagen sin procesar como entrada, entonces diferentes neuronas a lo largo de la dimensión de profundidad pueden activarse en presencia de varios bordes orientados o manchas de color.
• Stride controla cómo se asignan las columnas de profundidad alrededor del ancho y el alto. Si el paso es 1, movemos los filtros un píxel a la vez. Esto conduce a campos receptivos muy superpuestos entre las columnas y a grandes volúmenes de salida. Para cualquier número entero,un paso S significa que el filtro se traduce S unidades a la vez por salida. En la práctica,es raro. Un mayor paso significa una menor superposición de campos receptivos y menores dimensiones espaciales del volumen de salida. ^[76] ${\textstyle S>0,}$ ${\textstyle S\geq 3}$
• A veces, es conveniente rellenar la entrada con ceros (u otros valores, como el promedio de la región) en el borde del volumen de entrada. El tamaño de este relleno es un tercer hiperparámetro. El relleno proporciona control del tamaño espacial del volumen de salida. En particular, a veces es deseable preservar exactamente el tamaño espacial del volumen de entrada, lo que comúnmente se denomina "mismo" relleno.

El tamaño espacial del volumen de salida es función del tamaño del volumen de entrada , el tamaño del campo del núcleo de las neuronas de la capa convolucional, la zancada y la cantidad de relleno de ceros en el borde. El número de neuronas que "caben" en un volumen determinado es entonces: ${\displaystyle W}$ ${\displaystyle K}$ ${\displaystyle S}$ ${\displaystyle P}$

$${\displaystyle {\frac {W-K+2P}{S}}+1.}$$

Si este número no es un número entero , entonces los pasos son incorrectos y las neuronas no se pueden colocar en mosaico para que quepan en el volumen de entrada de forma simétrica . En general, establecer el relleno cero para que sea cuando se realiza la zancada garantiza que el volumen de entrada y el volumen de salida tendrán el mismo tamaño espacial. Sin embargo, no siempre es completamente necesario utilizar todas las neuronas de la capa anterior. Por ejemplo, un diseñador de redes neuronales puede decidir utilizar sólo una parte del relleno. ${\textstyle P=(K-1)/2}$ ${\displaystyle S=1}$

Compartir parámetros

Se utiliza un esquema de intercambio de parámetros en capas convolucionales para controlar el número de parámetros libres. Se basa en el supuesto de que si una característica de parche es útil para calcular en alguna posición espacial, entonces también debería ser útil para calcular en otras posiciones. Al denominar un único segmento de profundidad bidimensional como un segmento de profundidad , las neuronas en cada segmento de profundidad están obligadas a utilizar los mismos pesos y sesgos.

Dado que todas las neuronas en un único segmento de profundidad comparten los mismos parámetros, el paso hacia adelante en cada segmento de profundidad de la capa convolucional se puede calcular como una convolución de los pesos de la neurona con el volumen de entrada. ^{[nb 2]} Por lo tanto, es común referirse a los conjuntos de pesos como un filtro (o un núcleo ), que convoluciona con la entrada. El resultado de esta convolución es un mapa de activación , y el conjunto de mapas de activación para cada filtro diferente se apilan a lo largo de la dimensión de profundidad para producir el volumen de salida. El intercambio de parámetros contribuye a la invariancia de traducción de la arquitectura CNN. ^[14]

A veces, la suposición de compartir parámetros puede no tener sentido. Este es especialmente el caso cuando las imágenes de entrada a una CNN tienen alguna estructura centrada específica; para lo cual esperamos que se aprendan características completamente diferentes en diferentes ubicaciones espaciales. Un ejemplo práctico es cuando las entradas son caras que se han centrado en la imagen: podríamos esperar que se aprendan diferentes características específicas del ojo o del cabello en diferentes partes de la imagen. En ese caso, es común relajar el esquema de intercambio de parámetros y, en su lugar, simplemente llamar a la capa "capa conectada localmente".

capa de agrupación

Agrupación máxima con un filtro 2x2 y zancada = 2

Otro concepto importante de las CNN es la agrupación, que es una forma de muestreo descendente no lineal . Existen varias funciones no lineales para implementar la agrupación, donde la agrupación máxima es la más común. Divide la imagen de entrada en un conjunto de rectángulos y, para cada subregión, genera el máximo.

Intuitivamente, la ubicación exacta de una característica es menos importante que su ubicación aproximada en relación con otras características. Ésta es la idea detrás del uso de pooling en redes neuronales convolucionales. La capa de agrupación sirve para reducir progresivamente el tamaño espacial de la representación, para reducir la cantidad de parámetros, la huella de memoria y la cantidad de cálculo en la red y, por lo tanto, también para controlar el sobreajuste . Esto se conoce como muestreo descendente. Es común insertar periódicamente una capa de agrupación entre capas convolucionales sucesivas (cada una normalmente seguida por una función de activación, como una capa ReLU) en una arquitectura CNN. ^{[74] : 460–461} Si bien las capas de agrupación contribuyen a la invariancia de traducción local, no proporcionan invariancia de traducción global en una CNN, a menos que se utilice una forma de agrupación global. ^{[14] [73]} La capa de agrupación comúnmente opera de forma independiente en cada profundidad, o segmento, de la entrada y cambia su tamaño espacialmente. Una forma muy común de agrupación máxima es una capa con filtros de tamaño 2×2, aplicada con un paso de 2, que submuestra cada corte de profundidad en la entrada en 2 tanto a lo ancho como a lo alto, descartando el 75% de las activaciones:

$${\displaystyle f_{X,Y}(S)=\max _{a,b=0}^{1}S_{2X+a,2Y+b}.}$$

operación máxima

Además de la agrupación máxima, las unidades de agrupación pueden utilizar otras funciones, como la agrupación promedio o la agrupación normal ℓ 2 . Históricamente, la agrupación promedio se usaba a menudo, pero recientemente ha perdido popularidad en comparación con la agrupación máxima, que generalmente funciona mejor en la práctica. ^[77]

Debido a los efectos de la rápida reducción espacial del tamaño de la representación, ^{[ cuál? ]} existe una tendencia reciente hacia el uso de filtros más pequeños ^[78] o el descarte de las capas de agrupación por completo. ^[79]

Agrupación de RoI de tamaño 2x2. En este ejemplo, la propuesta de región (un parámetro de entrada) tiene un tamaño de 7x5.

La agrupación de " región de interés " (también conocida como agrupación de RoI) es una variante de la agrupación máxima, en la que el tamaño de salida es fijo y el rectángulo de entrada es un parámetro. ^[80]

La agrupación es un método de reducción de resolución y un componente importante de las redes neuronales convolucionales para la detección de objetos basadas en la arquitectura Fast R-CNN ^[81] .

Agrupación máxima de canales

Una capa de operación CMP lleva a cabo la operación MP a lo largo del lado del canal entre las posiciones correspondientes de los mapas de características consecutivos con el fin de eliminar información redundante. El CMP hace que las características importantes se reúnan en menos canales, lo cual es importante para una clasificación de imágenes detallada que necesita características más discriminantes. Mientras tanto, otra ventaja de la operación CMP es reducir el número de canales de mapas de características antes de que se conecte a la primera capa completamente conectada (FC). De manera similar a la operación MP, denotamos los mapas de características de entrada y los mapas de características de salida de una capa CMP como F ∈ R(C×M×N) y C ∈ R(c×M×N), respectivamente, donde C y c son los números de canal de los mapas de características de entrada y salida, M y N son los anchos y la altura de los mapas de características, respectivamente. Tenga en cuenta que la operación CMP solo cambia el número de canal de los mapas de características. El ancho y el alto de los mapas de características no cambian, lo cual es diferente de la operación MP. ^[82]

capa ReLU

ReLU es la abreviatura de unidad lineal rectificada introducida por Kunihiko Fukushima en 1969. ^{[36] [37] ReLU aplica la} función de activación no saturante . ^[68] Elimina eficazmente los valores negativos de un mapa de activación poniéndolos en cero. ^[83] Introduce no linealidad en la función de decisión y en la red general sin afectar los campos receptivos de las capas convolucionales. En 2011, Xavier Glorot, Antoine Bordes y Yoshua Bengio descubrieron que ReLU permite un mejor entrenamiento de redes más profundas, ^[84] en comparación con las funciones de activación ampliamente utilizadas antes de 2011. ${\textstyle f(x)=\max(0,x)}$

También se pueden utilizar otras funciones para aumentar la no linealidad, por ejemplo, la tangente hiperbólica de saturación , y la función sigmoidea . A menudo se prefiere ReLU a otras funciones porque entrena la red neuronal varias veces más rápido sin una penalización significativa en la precisión de la generalización . ^[85] ${\displaystyle f(x)=\tanh(x)}$ ${\displaystyle f(x)=|\tanh(x)|}$ ${\textstyle \sigma (x)=(1+e^{-x})^{-1}}$

Capa completamente conectada

Después de varias capas convolucionales y de agrupación máxima, la clasificación final se realiza mediante capas completamente conectadas. Las neuronas en una capa completamente conectada tienen conexiones con todas las activaciones en la capa anterior, como se ve en las redes neuronales artificiales regulares (no convolucionales) . Por lo tanto, sus activaciones se pueden calcular como una transformación afín , con multiplicación de matrices seguida de un desplazamiento de sesgo ( suma vectorial de un término de sesgo fijo o aprendido).

capa de pérdida

La "capa de pérdida", o " función de pérdida ", especifica cómo el entrenamiento penaliza la desviación entre la salida prevista de la red y las etiquetas de datos verdaderas (durante el aprendizaje supervisado). Se pueden utilizar varias funciones de pérdida , según la tarea específica.

La función de pérdida Softmax se utiliza para predecir una única clase de K clases mutuamente excluyentes. ^{[nb 3] La pérdida} de entropía cruzada sigmoidea se utiliza para predecir K valores de probabilidad independientes en . La pérdida euclidiana se utiliza para regresar a etiquetas de valor real . ${\displaystyle [0,1]}$ ${\displaystyle (-\infty ,\infty )}$

Hiperparámetros

Los hiperparámetros son varias configuraciones que se utilizan para controlar el proceso de aprendizaje. Las CNN utilizan más hiperparámetros que un perceptrón multicapa estándar (MLP).

Tamaño del grano

El núcleo es el número de píxeles procesados ​​juntos. Normalmente se expresa como las dimensiones del núcleo, por ejemplo, 2x2 o 3x3.

Relleno

El relleno es la adición de (normalmente) píxeles con valor 0 en los bordes de una imagen. Esto se hace para que los píxeles del borde no se subvalúen (se pierdan) en la salida porque normalmente participarían en una sola instancia de campo receptivo. El relleno aplicado suele ser uno menos que la dimensión del núcleo correspondiente. Por ejemplo, una capa convolucional que utilice núcleos de 3x3 recibiría un panel de 2 píxeles, es decir, 1 píxel a cada lado de la imagen. ^[86]

Paso

La zancada es el número de píxeles que mueve la ventana de análisis en cada iteración. Un paso de 2 significa que cada núcleo está desplazado en 2 píxeles con respecto a su predecesor.

Número de filtros

Dado que el tamaño del mapa de características disminuye con la profundidad, las capas cercanas a la capa de entrada tienden a tener menos filtros, mientras que las capas más altas pueden tener más. Para ecualizar el cálculo en cada capa, el producto de los valores de las características v _a con la posición del píxel se mantiene aproximadamente constante en todas las capas. Preservar más información sobre la entrada requeriría mantener el número total de activaciones (número de mapas de características multiplicado por el número de posiciones de píxeles) sin disminuir de una capa a la siguiente.

La cantidad de mapas de características controla directamente la capacidad y depende de la cantidad de ejemplos disponibles y la complejidad de la tarea.

Tamaño del filtro

Los tamaños de filtro comunes que se encuentran en la literatura varían mucho y generalmente se eligen en función del conjunto de datos.

El desafío es encontrar el nivel correcto de granularidad para crear abstracciones en la escala adecuada, dado un conjunto de datos particular, y sin sobreajuste .

Tipo y tamaño de agrupación

Normalmente se utiliza la agrupación máxima , a menudo con una dimensión de 2x2. Esto implica que la entrada se reduce drásticamente , lo que reduce el costo de procesamiento.

Grandes volúmenes de entrada pueden justificar una agrupación 4×4 en las capas inferiores. ^[87] Una mayor agrupación reduce la dimensión de la señal y puede provocar una pérdida de información inaceptable . A menudo, las ventanas de agrupación que no se superponen funcionan mejor. ^[77]

Dilatación

La dilatación implica ignorar los píxeles dentro de un núcleo. Esto reduce potencialmente el procesamiento/memoria sin una pérdida significativa de señal. Una dilatación de 2 en un núcleo de 3x3 expande el núcleo a 5x5, mientras se siguen procesando 9 píxeles (espaciados uniformemente). En consecuencia, la dilatación de 4 expande el núcleo a 9x9. ^{[88] [89]}

Equivarianza de traducción y alias

Comúnmente se supone que las CNN son invariantes ante los cambios de la entrada. Las capas de convolución o agrupación dentro de una CNN que no tienen un paso mayor que uno son de hecho equivalentes a las traducciones de la entrada. ^[73] Sin embargo, las capas con un paso mayor que uno ignoran el teorema de muestreo de Nyquist-Shannon y podrían provocar un alias de la señal de entrada ^[73] Si bien, en principio, las CNN son capaces de implementar filtros anti-aliasing, se ha observado que esto no sucede en la práctica ^[90] y producen modelos que no son equivalentes a las traducciones. Además, si una CNN utiliza capas completamente conectadas, la equivarianza de traducción no implica invariancia de traducción, ya que las capas completamente conectadas no son invariantes a los cambios de la entrada. ^{[91] [14]} Una solución para una invariancia de traducción completa es evitar cualquier reducción de muestreo en toda la red y aplicar una agrupación promedio global en la última capa. ^[73] Además, se han propuesto varias otras soluciones parciales, como suavizado antes de las operaciones de reducción de resolución, ^[92] redes de transformadores espaciales, ^[93] aumento de datos , submuestreo combinado con agrupación, ^[14] y redes neuronales de cápsula . ^[94]

Evaluación

La precisión del modelo final se basa en una subparte del conjunto de datos separada al principio, a menudo denominada conjunto de prueba. Otras veces se aplican métodos como la validación cruzada de k veces. Otras estrategias incluyen el uso de predicción conforme . ^{[95] [96]}

Métodos de regularización

La regularización es un proceso de introducción de información adicional para resolver un problema mal planteado o para evitar el sobreajuste . Las CNN utilizan varios tipos de regularización.

Empírico

Abandonar

Debido a que una capa completamente conectada ocupa la mayoría de los parámetros, es propensa a sobreajustarse. Un método para reducir el sobreajuste es el abandono , introducido en 2014. ^{[97] [98]} En cada etapa de entrenamiento, los nodos individuales se "abandonan" de la red (se ignoran) con probabilidad o se mantienen con probabilidad , de modo que se obtiene una red reducida. izquierda; También se eliminan los bordes entrantes y salientes de un nodo abandonado. Solo la red reducida está entrenada con los datos en esa etapa. Luego, los nodos eliminados se reinsertan en la red con sus pesos originales. ${\displaystyle 1-p}$ ${\displaystyle p}$

En las etapas de formación, suele ser 0,5; para los nodos de entrada, suele ser mucho mayor porque la información se pierde directamente cuando se ignoran los nodos de entrada. ${\displaystyle p}$

En el momento de la prueba, una vez finalizada la formación, lo ideal sería encontrar un promedio muestral de todas las posibles redes abandonadas; Desafortunadamente, esto es inviable para valores grandes de . Sin embargo, podemos encontrar una aproximación utilizando la red completa con la salida de cada nodo ponderada por un factor de , por lo que el valor esperado de la salida de cualquier nodo es el mismo que en las etapas de entrenamiento. Esta es la mayor contribución del método de deserción: aunque genera efectivamente redes neuronales y, como tal, permite la combinación de modelos, en el momento de la prueba solo es necesario probar una única red. ${\displaystyle 2^{n}}$ ${\displaystyle n}$ ${\displaystyle p}$ ${\displaystyle 2^{n}}$

Al evitar entrenar todos los nodos con todos los datos de entrenamiento, el abandono reduce el sobreajuste. El método también mejora significativamente la velocidad del entrenamiento. Esto hace que la combinación de modelos sea práctica, incluso para redes neuronales profundas . La técnica parece reducir las interacciones de los nodos, lo que los lleva a aprender características más sólidas ^{[ se necesita aclaración ]} que se generalizan mejor a nuevos datos.

DropConnect

DropConnect es la generalización de la deserción en la que cada conexión, en lugar de cada unidad de salida, se puede descartar con probabilidad . Por tanto, cada unidad recibe información de un subconjunto aleatorio de unidades de la capa anterior. ^[99] ${\displaystyle 1-p}$

DropConnect es similar a dropout ya que introduce escasez dinámica dentro del modelo, pero se diferencia en que la escasez está en los pesos, en lugar de en los vectores de salida de una capa. En otras palabras, la capa completamente conectada con DropConnect se convierte en una capa escasamente conectada en la que las conexiones se eligen al azar durante la etapa de entrenamiento.

agrupación estocástica

Una desventaja importante de Dropout es que no tiene los mismos beneficios para las capas convolucionales, donde las neuronas no están completamente conectadas.

Incluso antes de Dropout, en 2013 se utilizó una técnica llamada agrupación estocástica, ^{[100] las operaciones de agrupación} deterministas convencionales fueron reemplazadas por un procedimiento estocástico, donde la activación dentro de cada región de agrupación se selecciona aleatoriamente de acuerdo con una distribución multinomial , dada por las actividades dentro de la agrupación. región. Este enfoque está libre de hiperparámetros y se puede combinar con otros enfoques de regularización, como el abandono y el aumento de datos .

Una visión alternativa de la agrupación estocástica es que es equivalente a la agrupación máxima estándar pero con muchas copias de una imagen de entrada, cada una con pequeñas deformaciones locales . Esto es similar a las deformaciones elásticas explícitas de las imágenes de entrada, ^[101] que ofrece un rendimiento excelente en el conjunto de datos MNIST . ^[101] El uso de agrupación estocástica en un modelo multicapa da un número exponencial de deformaciones ya que las selecciones en las capas superiores son independientes de las inferiores.

Datos artificiales

Debido a que el grado de sobreajuste del modelo está determinado tanto por su potencia como por la cantidad de entrenamiento que recibe, proporcionar una red convolucional con más ejemplos de entrenamiento puede reducir el sobreajuste. Debido a que a menudo no hay suficientes datos disponibles para entrenar, especialmente considerando que una parte debe reservarse para pruebas posteriores, dos enfoques son generar nuevos datos desde cero (si es posible) o alterar los datos existentes para crear otros nuevos. Este último se utiliza desde mediados de los años 1990. ^[52] Por ejemplo, las imágenes de entrada se pueden recortar, rotar o cambiar de escala para crear nuevos ejemplos con las mismas etiquetas que el conjunto de entrenamiento original. ^[102]

Explícito

Parada anticipada

Uno de los métodos más simples para evitar el sobreajuste de una red es simplemente detener el entrenamiento antes de que se produzca el sobreajuste. Tiene la desventaja de que se detiene el proceso de aprendizaje.

Número de parámetros

Otra forma sencilla de evitar el sobreajuste es limitar la cantidad de parámetros, generalmente limitando la cantidad de unidades ocultas en cada capa o limitando la profundidad de la red. Para las redes convolucionales, el tamaño del filtro también afecta la cantidad de parámetros. Limitar el número de parámetros restringe directamente el poder predictivo de la red, lo que reduce la complejidad de la función que puede realizar sobre los datos y, por lo tanto, limita la cantidad de sobreajuste. Esto equivale a una " norma cero ".

Caída de peso

Una forma simple de regularizador agregado es la caída de peso, que simplemente agrega un error adicional, proporcional a la suma de pesos ( norma L1 ) o magnitud al cuadrado ( norma L2 ) del vector de peso, al error en cada nodo. El nivel de complejidad aceptable del modelo se puede reducir aumentando la constante de proporcionalidad (hiperparámetro 'alfa'), aumentando así la penalización por vectores de peso grandes.

La regularización L2 es la forma más común de regularización. Se puede implementar penalizando la magnitud al cuadrado de todos los parámetros directamente en el objetivo. La regularización L2 tiene la interpretación intuitiva de penalizar fuertemente los vectores de peso máximo y preferir los vectores de peso difuso. Debido a las interacciones multiplicativas entre pesos y entradas, esto tiene la útil propiedad de alentar a la red a usar todas sus entradas un poco en lugar de algunas de ellas mucho.

La regularización L1 también es común. Hace que los vectores de peso sean escasos durante la optimización. En otras palabras, las neuronas con regularización L1 terminan usando sólo un subconjunto escaso de sus entradas más importantes y se vuelven casi invariantes ante las entradas ruidosas. Se puede combinar la regularización L1 con L2; esto se llama regularización neta elástica .

Restricciones de norma máxima

Otra forma de regularización es imponer un límite superior absoluto en la magnitud del vector de peso para cada neurona y utilizar el descenso de gradiente proyectado para imponer la restricción. En la práctica, esto corresponde a realizar la actualización de parámetros de forma normal y luego aplicar la restricción sujetando el vector de peso de cada neurona para satisfacer . Los valores típicos de son del orden de 3 a 4. Algunos artículos informan mejoras ^[103] al utilizar esta forma de regularización. ${\displaystyle {\vec {w}}}$ ${\displaystyle \|{\vec {w}}\|_{2}<c}$ ${\displaystyle c}$

Marcos de coordenadas jerárquicas

La agrupación pierde las relaciones espaciales precisas entre partes de alto nivel (como la nariz y la boca en una imagen de rostro). Estas relaciones son necesarias para el reconocimiento de la identidad. Superponer los grupos para que cada característica ocurra en varios grupos ayuda a retener la información. La traducción por sí sola no puede extrapolar la comprensión de las relaciones geométricas a un punto de vista radicalmente nuevo, como una orientación o escala diferente. Por otro lado, la gente es muy buena extrapolando; después de ver una nueva forma una vez que pueden reconocerla desde un punto de vista diferente. ^[104]

Una forma común anterior de abordar este problema es entrenar la red con datos transformados en diferentes orientaciones, escalas, iluminación, etc. para que la red pueda hacer frente a estas variaciones. Esto es computacionalmente intensivo para grandes conjuntos de datos. La alternativa es utilizar una jerarquía de marcos de coordenadas y utilizar un grupo de neuronas para representar una conjunción de la forma de la característica y su postura en relación con la retina . La pose relativa a la retina es la relación entre el marco de coordenadas de la retina y el marco de coordenadas de las características intrínsecas. ^[105]

Por tanto, una forma de representar algo es incrustar el marco de coordenadas en su interior. Esto permite reconocer rasgos grandes utilizando la consistencia de las poses de sus partes (por ejemplo, las posturas de la nariz y la boca hacen una predicción consistente de la pose de toda la cara). Este enfoque garantiza que la entidad de nivel superior (por ejemplo, la cara) esté presente cuando la entidad de nivel inferior (por ejemplo, nariz y boca) esté de acuerdo en su predicción de la pose. Los vectores de actividad neuronal que representan la pose ("vectores de pose") permiten transformaciones espaciales modeladas como operaciones lineales que facilitan que la red aprenda la jerarquía de entidades visuales y generalice entre puntos de vista. Esto es similar a la forma en que el sistema visual humano impone marcos de coordenadas para representar formas. ^[106]

Aplicaciones

Reconocimiento de imagen

Las CNN se utilizan a menudo en sistemas de reconocimiento de imágenes . En 2012, se informó una tasa de error del 0,23% en la base de datos MNIST . ^[26] Otro artículo sobre el uso de CNN para la clasificación de imágenes informó que el proceso de aprendizaje fue "sorprendentemente rápido"; en el mismo artículo, los mejores resultados publicados hasta 2011 se lograron en la base de datos MNIST y la base de datos NORB. ^[23] Posteriormente, una CNN similar llamada AlexNet ^[107] ganó el ImageNet Large Scale Visual Recognition Challenge 2012.

Cuando se aplicaron al reconocimiento facial , las CNN lograron una gran disminución en la tasa de error. ^[108] Otro artículo informó una tasa de reconocimiento del 97,6% en "5.600 imágenes fijas de más de 10 sujetos". ^[19] Las CNN se utilizaron para evaluar la calidad del vídeo de forma objetiva después del entrenamiento manual; el sistema resultante tenía un error cuadrático medio muy bajo . ^[46]

El desafío de reconocimiento visual a gran escala de ImageNet es un punto de referencia en clasificación y detección de objetos, con millones de imágenes y cientos de clases de objetos. En el ILSVRC 2014, ^[109] un desafío de reconocimiento visual a gran escala, casi todos los equipos altamente clasificados utilizaron CNN como marco básico. El ganador, GoogLeNet ^[110] (la base de DeepDream ) aumentó la precisión promedio promedio de la detección de objetos a 0,439329 y redujo el error de clasificación a 0,06656, el mejor resultado hasta la fecha. Su red aplicó más de 30 capas. Ese rendimiento de las redes neuronales convolucionales en las pruebas de ImageNet fue cercano al de los humanos. ^[111] Los mejores algoritmos todavía tienen problemas con objetos que son pequeños o delgados, como una pequeña hormiga en el tallo de una flor o una persona que sostiene una pluma en la mano. También tienen problemas con las imágenes distorsionadas por los filtros, un fenómeno cada vez más común en las cámaras digitales modernas. Por el contrario, ese tipo de imágenes rara vez preocupan a los humanos. Los humanos, sin embargo, tienden a tener problemas con otras cuestiones. Por ejemplo, no son buenos para clasificar objetos en categorías detalladas, como la raza particular de perro o especie de pájaro, mientras que las redes neuronales convolucionales se encargan de esto. ^{[ cita necesaria ]}

En 2015, una CNN de muchas capas demostró la capacidad de detectar rostros desde una amplia gama de ángulos, incluso al revés, incluso cuando están parcialmente ocluidos, con un rendimiento competitivo. La red se basó en una base de datos de 200.000 imágenes que incluían rostros en varios ángulos y orientaciones y otros 20 millones de imágenes sin rostros. Utilizaron lotes de 128 imágenes en 50.000 iteraciones. ^[112]

Análisis de vídeo

En comparación con los dominios de datos de imágenes, hay relativamente poco trabajo sobre la aplicación de CNN a la clasificación de videos. El vídeo es más complejo que las imágenes ya que tiene otra dimensión (temporal). Sin embargo, se han explorado algunas extensiones de las CNN al dominio del vídeo. Un enfoque consiste en tratar el espacio y el tiempo como dimensiones equivalentes de la entrada y realizar convoluciones tanto en el tiempo como en el espacio. ^{[113] [114]} Otra forma es fusionar las características de dos redes neuronales convolucionales, una para el flujo espacial y otra para el temporal. ^{[115] [116] [117] Las unidades} recurrentes de memoria a largo plazo (LSTM) generalmente se incorporan después de la CNN para tener en cuenta las dependencias entre fotogramas o entre clips. ^{[118] [119]} Se han introducido esquemas de aprendizaje no supervisados ​​para entrenar características espacio-temporales, basados ​​en máquinas de Boltzmann restringidas con convolución cerrada ^[120] y análisis de subespacio independiente. ^[121] Su aplicación se puede ver en el modelo Texto a vídeo . ^[122]

Procesamiento natural del lenguaje

Las CNN también se han explorado para el procesamiento del lenguaje natural . Los modelos CNN son efectivos para varios problemas de PNL y lograron excelentes resultados en análisis semántico , ^[123] recuperación de consultas de búsqueda, ^[124] modelado de oraciones, ^[125] clasificación, ^[126] predicción ^[127] y otras tareas tradicionales de PNL. ^[128] En comparación con los métodos tradicionales de procesamiento del lenguaje, como las redes neuronales recurrentes , las CNN pueden representar diferentes realidades contextuales del lenguaje que no se basan en un supuesto de secuencia de serie, mientras que las RNN son más adecuadas cuando se requiere el modelado clásico de series de tiempo. ^{[129] [130] [131] [132]}

Detección de anomalías

Se utilizó una CNN con convoluciones 1-D en series de tiempo en el dominio de la frecuencia (residual espectral) mediante un modelo no supervisado para detectar anomalías en el dominio del tiempo. ^[133]

Descubrimiento de medicamento

Las CNN se han utilizado en el descubrimiento de fármacos . Predecir la interacción entre moléculas y proteínas biológicas puede identificar tratamientos potenciales. En 2015, Atomwise presentó AtomNet, la primera red neuronal de aprendizaje profundo para el diseño de fármacos basado en estructuras . ^[134] El sistema se entrena directamente en representaciones tridimensionales de interacciones químicas. De manera similar a cómo las redes de reconocimiento de imágenes aprenden a componer características más pequeñas y espacialmente próximas en estructuras más grandes y complejas, ^[135] AtomNet descubre características químicas, como la aromaticidad , los carbonos sp 3 y los enlaces de hidrógeno . Posteriormente, AtomNet se utilizó para predecir nuevas biomoléculas candidatas para múltiples objetivos de enfermedades, en particular tratamientos para el virus del Ébola ^[136] y la esclerosis múltiple . ^[137]

juego de damas

Las CNN se han utilizado en el juego de damas . De 1999 a 2001, Fogel y Chellapilla publicaron artículos que mostraban cómo una red neuronal convolucional podría aprender a jugar a las damas mediante la coevolución. El proceso de aprendizaje no utilizó juegos profesionales humanos previos, sino que se centró en un conjunto mínimo de información contenida en el tablero de ajedrez: la ubicación y el tipo de piezas, y la diferencia en número de piezas entre los dos lados. Al final, el programa ( Blondie24 ) fue probado en 165 juegos contra jugadores y se ubicó en el 0,4% más alto. ^{[138] [139]} También obtuvo una victoria contra el programa Chinook en su nivel de juego "experto". ^[140]

Ir

Las CNN se han utilizado en la computadora Go . En diciembre de 2014, Clark y Storkey publicaron un artículo que mostraba que una CNN entrenada mediante aprendizaje supervisado a partir de una base de datos de juegos profesionales humanos podía superar a GNU Go y ganar algunos juegos contra Monte Carlo Tree Search Fuego 1.1 en una fracción del tiempo que le tomó a Fuego. jugar. ^[141] Más tarde se anunció que una gran red neuronal convolucional de 12 capas había predicho correctamente el movimiento profesional en el 55% de las posiciones, igualando la precisión de un jugador humano de 6 dan . Cuando la red convolucional entrenada se utilizó directamente para jugar juegos de Go, sin ninguna búsqueda, superó al programa de búsqueda tradicional GNU Go en el 97% de los juegos, e igualó el rendimiento del programa de búsqueda de árbol Monte Carlo Fuego simulando diez mil playouts (aproximadamente un millón de posiciones) por movimiento. ^[142]

AlphaGo , el primero en vencer al mejor jugador humano en ese momento, utilizó un par de CNN para elegir movimientos a probar ("red de políticas") y evaluar posiciones ("red de valores") que impulsaban MCTS . ^[143]

Previsión de series de tiempo

Las redes neuronales recurrentes generalmente se consideran las mejores arquitecturas de redes neuronales para el pronóstico de series temporales (y el modelado de secuencias en general), pero estudios recientes muestran que las redes convolucionales pueden funcionar de manera comparable o incluso mejor. ^{[144] [11]} Las convoluciones dilatadas ^[145] podrían permitir que las redes neuronales convolucionales unidimensionales aprendan de manera efectiva las dependencias de series temporales. ^[146] Las convoluciones se pueden implementar de manera más eficiente que las soluciones basadas en RNN y no sufren gradientes que desaparecen (o explotan). ^[147] Las redes convolucionales pueden proporcionar un rendimiento de pronóstico mejorado cuando hay varias series temporales similares de las que aprender. ^[148] Las CNN también se pueden aplicar a otras tareas en el análisis de series de tiempo (por ejemplo, clasificación de series de tiempo ^[149] o pronóstico cuantil ^[150] ).

Patrimonio cultural y conjuntos de datos 3D

A medida que los hallazgos arqueológicos, como tablillas de arcilla con escritura cuneiforme , se adquieren cada vez más mediante escáneres 3D , los primeros conjuntos de datos de referencia están disponibles, como HeiCuBeDa ^[151], que proporciona casi 2.000 conjuntos de datos 2D y 3D normalizados preparados con el marco de software GigaMesh . ^[152] Por lo tanto, las medidas basadas en la curvatura se utilizan junto con las redes neuronales geométricas (GNN), por ejemplo, para la clasificación de períodos de aquellas tablillas de arcilla que se encuentran entre los documentos más antiguos de la historia de la humanidad. ^{[153] [154]}

Sintonia FINA

Para muchas aplicaciones, los datos de entrenamiento están menos disponibles. Las redes neuronales convolucionales suelen requerir una gran cantidad de datos de entrenamiento para evitar el sobreajuste . Una técnica común es entrenar la red con un conjunto de datos más grande de un dominio relacionado. Una vez que los parámetros de la red han convergido, se realiza un paso de entrenamiento adicional utilizando los datos del dominio para ajustar los pesos de la red, esto se conoce como aprendizaje por transferencia . Además, esta técnica permite aplicar con éxito arquitecturas de redes convolucionales a problemas con conjuntos de entrenamiento pequeños. ^[155]

Explicaciones interpretables por humanos

El entrenamiento y la predicción de un extremo a otro son una práctica común en la visión por computadora . Sin embargo, se requieren explicaciones interpretables por humanos para sistemas críticos como los automóviles autónomos . ^[156] Con avances recientes en prominencia visual , atención espacial y atención temporal , las regiones espaciales/instantes temporales más críticos podrían visualizarse para justificar las predicciones de CNN. ^{[157] [158]}

Arquitecturas relacionadas

Redes Q profundas

Una red Q profunda (DQN) es un tipo de modelo de aprendizaje profundo que combina una red neuronal profunda con Q-learning , una forma de aprendizaje por refuerzo . A diferencia de los agentes de aprendizaje por refuerzo anteriores, los DQN que utilizan CNN pueden aprender directamente de entradas sensoriales de alta dimensión a través del aprendizaje por refuerzo. ^[159]

Los resultados preliminares se presentaron en 2014, acompañados de un artículo en febrero de 2015. ^[160] La investigación describió una aplicación a los juegos Atari 2600 . Otros modelos de aprendizaje por refuerzo profundo lo precedieron. ^[161]

Redes de creencias profundas

Las redes convolucionales de creencias profundas (CDBN) tienen una estructura muy similar a las redes neuronales convolucionales y están entrenadas de manera similar a las redes de creencias profundas. Por lo tanto, explotan la estructura 2D de las imágenes, como lo hacen las CNN, y utilizan el entrenamiento previo como redes de creencias profundas . Proporcionan una estructura genérica que se puede utilizar en muchas tareas de procesamiento de imágenes y señales. Se han obtenido resultados de referencia en conjuntos de datos de imágenes estándar como CIFAR ^{[162] utilizando CDBN. [163]}

Bibliotecas notables

• Caffe : una biblioteca para redes neuronales convolucionales. Creado por el Centro de Aprendizaje y Visión de Berkeley (BVLC). Es compatible tanto con CPU como con GPU. Desarrollado en C++ y tiene contenedores Python y MATLAB .
• Deeplearning4j : aprendizaje profundo en Java y Scala en Spark habilitado para múltiples GPU . Una biblioteca de aprendizaje profundo de uso general para la pila de producción JVM que se ejecuta en un motor informático científico C++. Permite la creación de capas personalizadas. Se integra con Hadoop y Kafka.
• Dlib : un conjunto de herramientas para crear aplicaciones de análisis de datos y aprendizaje automático del mundo real en C++.
• Microsoft Cognitive Toolkit : un conjunto de herramientas de aprendizaje profundo escrito por Microsoft con varias características únicas que mejoran la escalabilidad en múltiples nodos. Admite interfaces completas para entrenamiento en C++ y Python y con soporte adicional para inferencia de modelos en C# y Java.
• TensorFlow : biblioteca similar a Theano con licencia Apache 2.0 y compatible con CPU, GPU, la unidad de procesamiento tensorial (TPU) patentada de Google, ^[164] y dispositivos móviles.
• Theano : la biblioteca de aprendizaje profundo de referencia para Python con una API ampliamente compatible con la popular biblioteca NumPy . Permite al usuario escribir expresiones matemáticas simbólicas y luego genera automáticamente sus derivadas, lo que evita que el usuario tenga que codificar gradientes o retropropagación. Estas expresiones simbólicas se compilan automáticamente en código CUDA para una implementación rápida en la GPU .
• Torch : un marco informático científico con amplio soporte para algoritmos de aprendizaje automático, escrito en C y Lua .

Ver también

• Atención (aprendizaje automático)
• Circunvolución
• Aprendizaje profundo
• Procesamiento natural del lenguaje
• Neocognitrón
• Transformación de características invariantes de escala
• Red neuronal de retardo de tiempo
• Unidad de procesamiento de visión

Notas

1. Cuando se aplica a otros tipos de datos distintos de los datos de imágenes, como los datos de sonido, la "posición espacial" puede corresponder de diversas formas a diferentes puntos en el dominio del tiempo , el dominio de la frecuencia u otros espacios matemáticos .
2. de ahí el nombre "capa convolucional"
3. Los llamados datos categóricos .

Referencias

1. Venkatesan, Ragav; Li, Baoxin (23 de octubre de 2017). Redes neuronales convolucionales en informática visual: una guía concisa. Prensa CRC. ISBN 978-1-351-65032-8. Archivado desde el original el 16 de octubre de 2023 . Consultado el 13 de diciembre de 2020 .
2. , Valentina E.; Kumar, Raghvendra; Srivastava, Rajshree (19 de noviembre de 2019). Tendencias y avances recientes en inteligencia artificial e Internet de las cosas. Naturaleza Springer. ISBN 978-3-030-32644-9. Archivado desde el original el 16 de octubre de 2023 . Consultado el 13 de diciembre de 2020 .
3. Zhang, Yingjie; Pronto, Hong Geok; Sí, Dongsen; Fuh, Jerry Ying Hsi; Zhu, Kunpeng (septiembre de 2020). "Monitoreo del proceso de fusión en lecho de polvo mediante visión artificial con redes neuronales convolucionales híbridas". Transacciones IEEE sobre informática industrial . 16 (9): 5769–5779. doi :10.1109/TII.2019.2956078. ISSN  1941-0050. S2CID  213010088. Archivado desde el original el 31 de julio de 2023 . Consultado el 12 de agosto de 2023 .
4. Chervyakov, NI; Lyakhov, PA; Deryabin, MA; Nagornov, NN; Valueva, MV; Valuev, GV (septiembre de 2020). "Solución basada en el sistema de números residuales para reducir el costo de hardware de una red neuronal convolucional". Neurocomputación . 407 : 439–453. doi : 10.1016/j.neucom.2020.04.018. S2CID  219470398. Archivado desde el original el 29 de junio de 2023 . Consultado el 12 de agosto de 2023 . Las redes neuronales convolucionales representan arquitecturas de aprendizaje profundo que se utilizan actualmente en una amplia gama de aplicaciones, incluida la visión por computadora, el reconocimiento de voz, la detección de malware, el análisis de series temporales en finanzas y muchas otras.
5. Habibi, Aghdam, Hamed (30 de mayo de 2017). Guía de redes neuronales convolucionales: una aplicación práctica a la detección y clasificación de señales de tráfico . Heravi, Elnaz Jahani. Cham, Suiza. ISBN 9783319575490. OCLC  987790957.{{cite book}}: CS1 maint: location missing publisher (link) CS1 maint: multiple names: authors list (link)
6. Atlas, Homma y Marcos. "Una red neuronal artificial para patrones bipolares espacio-temporales: aplicación a la clasificación de fonemas" (PDF) . Sistemas de procesamiento de información neuronal (NIPS 1987) . 1 . Archivado (PDF) desde el original el 14 de abril de 2021.{{cite journal}}: CS1 maint: multiple names: authors list (link)
7. Valueva, MV; Nagornov, NN; Lyakhov, PA; Valuev, GV; Chervyakov, NI (2020). "Aplicación del sistema de número de residuos para reducir costes de hardware de la implementación de una red neuronal convolucional". Matemáticas y Computación en Simulación . Elsevier BV. 177 : 232–243. doi : 10.1016/j.matcom.2020.04.031. ISSN  0378-4754. S2CID  218955622. Las redes neuronales convolucionales son una herramienta prometedora para resolver el problema del reconocimiento de patrones.
8. van den Oord, Aarón; Dieleman, Sander; Schrauwen, Benjamín (1 de enero de 2013). Burges, CJC; Bottou, L.; Bien, M.; Ghahramani, Z.; Weinberger, KQ (eds.). Recomendación musical profunda basada en contenido (PDF) . Curran Associates, Inc. págs. 2643–2651. Archivado (PDF) desde el original el 7 de marzo de 2022 . Consultado el 31 de marzo de 2022 .
9. Collobert, Ronan; Weston, Jason (1 de enero de 2008). "Una arquitectura unificada para el procesamiento del lenguaje natural". Actas de la 25ª conferencia internacional sobre aprendizaje automático - ICML '08 . Nueva York, NY, Estados Unidos: ACM. págs. 160-167. doi :10.1145/1390156.1390177. ISBN 978-1-60558-205-4. S2CID  2617020.
10. Avilov, Oleksii; Rimbert, Sébastien; Popov, Antón; Bougrain, Laurent (julio de 2020). "Técnicas de aprendizaje profundo para mejorar la detección de la conciencia intraoperatoria a partir de señales electroencefalográficas". 2020 42.a Conferencia Internacional Anual de la Sociedad de Ingeniería en Medicina y Biología (EMBC) del IEEE (PDF) . vol. 2020. Montreal, QC, Canadá: IEEE. págs. 142-145. doi :10.1109/EMBC44109.2020.9176228. ISBN 978-1-7281-1990-8. PMID  33017950. S2CID  221386616. Archivado (PDF) desde el original el 19 de mayo de 2022 . Consultado el 21 de julio de 2023 .
11. Tsantekidis, Avraam; Passalis, Nikolaos; Tefas, Anastasio; Kanniainen, Juho; Gabbouj, Moncef; Iosifidis, Alexandros (julio de 2017). "Predicción de los precios de las acciones a partir del libro de órdenes límite utilizando redes neuronales convolucionales". 2017 IEEE 19.ª Conferencia sobre Informática Empresarial (CBI) . Salónica, Grecia: IEEE. págs. 7-12. doi :10.1109/CBI.2017.23. ISBN 978-1-5386-3035-8. S2CID  4950757.
12. Zhang, Wei (1988). "Red neuronal de reconocimiento de patrones de cambio invariante y su arquitectura óptica". Actas de la conferencia anual de la Sociedad Japonesa de Física Aplicada . Archivado desde el original el 23 de junio de 2020 . Consultado el 22 de junio de 2020 .
13. Zhang, Wei (1990). "Modelo de procesamiento distribuido paralelo con interconexiones locales invariantes en el espacio y su arquitectura óptica". Óptica Aplicada . 29 (32): 4790–7. Código Bib : 1990ApOpt..29.4790Z. doi :10.1364/AO.29.004790. PMID  20577468. Archivado desde el original el 6 de febrero de 2017 . Consultado el 22 de septiembre de 2016 .
14. Mouton, Coenraad; Myburgh, Johannes C.; Davel, Marelie H. (2020). "Invariancia de zancada y traducción en CNNS". En Gerber, Aurona (ed.). Investigación en Inteligencia Artificial . Comunicaciones en Informática y Ciencias de la Información. vol. 1342. Cham: Editorial Internacional Springer. págs. 267–281. arXiv : 2103.10097 . doi :10.1007/978-3-030-66151-9_17. ISBN 978-3-030-66151-9. S2CID  232269854. Archivado desde el original el 27 de junio de 2021 . Consultado el 26 de marzo de 2021 .
15. Kurtzman, Thomas (20 de agosto de 2019). "El sesgo oculto en el conjunto de datos DUD-E conduce a un rendimiento engañoso del aprendizaje profundo en la detección virtual basada en estructuras". MÁS UNO . 14 (8): e0220113. Código Bib : 2019PLoSO..1420113C. doi : 10.1371/journal.pone.0220113 . PMC 6701836 . PMID  31430292. 
16. Fukushima, K. (2007). "Neocognitrón". Scholarpedia . 2 (1): 1717. Código bibliográfico : 2007SchpJ...2.1717F. doi : 10.4249/scholarpedia.1717 .
17. Hubel, DH; Wiesel, TN (1 de marzo de 1968). "Campos receptivos y arquitectura funcional de la corteza estriada del mono". La Revista de Fisiología . 195 (1): 215–243. doi : 10.1113/jphysiol.1968.sp008455. ISSN  0022-3751. PMC 1557912 . PMID  4966457. 
18. Fukushima, Kunihiko (1980). "Neocognitron: un modelo de red neuronal autoorganizada para un mecanismo de reconocimiento de patrones que no se ve afectado por el cambio de posición" (PDF) . Cibernética biológica . 36 (4): 193–202. doi :10.1007/BF00344251. PMID  7370364. S2CID  206775608. Archivado (PDF) desde el original el 3 de junio de 2014 . Consultado el 16 de noviembre de 2013 .
19. Matusugu, Masakazu; Katsuhiko Mori; Yusuke Mitari; Yuji Kaneda (2003). "Reconocimiento de expresiones faciales independiente del sujeto con detección de rostros sólida mediante una red neuronal convolucional" (PDF) . Redes neuronales . 16 (5): 555–559. doi :10.1016/S0893-6080(03)00115-1. PMID  12850007. Archivado (PDF) desde el original el 13 de diciembre de 2013 . Consultado el 17 de noviembre de 2013 .
20. Redes neuronales convolucionales desmitificadas: un tutorial basado en una perspectiva de filtrado coincidente https://arxiv.org/abs/2108.11663v3
21. "Redes neuronales convolucionales (LeNet): documentación de DeepLearning 0.1". Aprendizaje profundo 0.1 . Laboratorio LISA. Archivado desde el original el 28 de diciembre de 2017 . Consultado el 31 de agosto de 2013 .
22. Chollet, François (4 de abril de 2017). "Xception: aprendizaje profundo con convoluciones separables en profundidad". arXiv : 1610.02357 [cs.CV].
23. Ciresan, Dan; Ueli Meier; Jonathan Masci; Luca M. Gambardella; Jürgen Schmidhuber (2011). "Redes neuronales convolucionales flexibles y de alto rendimiento para clasificación de imágenes" (PDF) . Actas de la vigésima segunda conferencia internacional conjunta sobre inteligencia artificial, volumen dos . 2 : 1237-1242. Archivado (PDF) desde el original el 5 de abril de 2022 . Consultado el 17 de noviembre de 2013 .
24. Krizhevsky , Alex. "Clasificación de ImageNet con redes neuronales convolucionales profundas" (PDF) . Archivado (PDF) desde el original el 25 de abril de 2021 . Consultado el 17 de noviembre de 2013 .
25. Yamaguchi, Kouichi; Sakamoto, Kenji; Akabane, Toshio; Fujimoto, Yoshiji (noviembre de 1990). Una red neuronal para el reconocimiento de palabras aisladas independientes del hablante. Primera Conferencia Internacional sobre Procesamiento del Lenguaje Hablado (ICSLP 90). Kobe, Japón. Archivado desde el original el 7 de marzo de 2021 . Consultado el 4 de septiembre de 2019 .
26. Ciresan, Dan; Meier, Ueli; Schmidhuber, Jürgen (junio de 2012). "Redes neuronales profundas de varias columnas para clasificación de imágenes". Conferencia IEEE 2012 sobre visión por computadora y reconocimiento de patrones . Nueva York, NY: Instituto de Ingenieros Eléctricos y Electrónicos (IEEE). págs. 3642–3649. arXiv : 1202.2745 . CiteSeerX 10.1.1.300.3283 . doi :10.1109/CVPR.2012.6248110. ISBN  978-1-4673-1226-4. OCLC  812295155. S2CID  2161592.
27. Yu, pescador; Koltun, Vladlen (30 de abril de 2016). "Agregación de contexto multiescala por convoluciones dilatadas". arXiv : 1511.07122 [cs.CV].
28. Chen, Liang-Chieh; Papandreou, George; Schroff, Florián; Adán, Hartwig (5 de diciembre de 2017). "Repensar la convolución atroz para la segmentación de imágenes semánticas". arXiv : 1706.05587 [cs.CV].
29. Duta, Ionut Cosmin; Georgescu, Mariana Juliana; Ionescu, Radu Tudor (16 de agosto de 2021). "Redes neuronales convolucionales contextuales". arXiv : 2108.07387 [cs.CV].
30. LeCun, Yann. "LeNet-5, redes neuronales convolucionales". Archivado desde el original el 24 de febrero de 2021 . Consultado el 16 de noviembre de 2013 .
31. Mahapattanakul, Puttatida (11 de noviembre de 2019). "De la visión humana a la visión por computadora: red neuronal convolucional (Parte 3/4)". Medio . Archivado desde el original el 25 de mayo de 2021 . Consultado el 25 de mayo de 2021 .
32. van Dyck, Leonard Elia; Kwitt, Roland; Denzler, Sebastián Jochen; Gruber, Walter Roland (2021). "Comparación del reconocimiento de objetos en humanos y redes neuronales convolucionales profundas: un estudio de seguimiento ocular". Fronteras en Neurociencia . 15 : 750639. doi : 10.3389/fnins.2021.750639 . ISSN  1662-453X. PMC 8526843 . PMID  34690686. 
33. Hubel, DH; Wiesel, TN (octubre de 1959). "Campos receptivos de neuronas individuales en la corteza estriada del gato". J. Physiol . 148 (3): 574–91. doi : 10.1113/jphysiol.1959.sp006308. PMC 1363130 . PMID  14403679. 
34. David H. Hubel y Torsten N. Wiesel (2005). Cerebro y percepción visual: la historia de una colaboración de 25 años. Prensa de la Universidad de Oxford EE. UU. pag. 106.ISBN _ 978-0-19-517618-6. Archivado desde el original el 16 de octubre de 2023 . Consultado el 18 de enero de 2019 .
35. LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). "Aprendizaje profundo". Naturaleza . 521 (7553): 436–444. Código Bib :2015Natur.521..436L. doi : 10.1038/naturaleza14539. PMID  26017442. S2CID  3074096.
36. Fukushima, K. (1969). "Extracción de características visuales mediante una red multicapa de elementos de umbral analógicos". Transacciones IEEE sobre ciencia de sistemas y cibernética . 5 (4): 322–333. doi :10.1109/TSSC.1969.300225.
37. Schmidhuber, Juergen (2022). "Historia comentada de la IA moderna y el aprendizaje profundo". arXiv : 2212.11279 [cs.NE].
38. Ramachandran, Prajit; Barret, Zoph; Quoc, V. Le (16 de octubre de 2017). "Búsqueda de funciones de activación". arXiv : 1710.05941 [cs.NE].
39. Weng, J; Ahuja, N; Huang, TS (1993). "Aprendizaje de reconocimiento y segmentación de objetos 3D a partir de imágenes 2D". 1993 (4º) Congreso Internacional sobre Visión por Computador . IEEE. págs. 121-128. doi :10.1109/ICCV.1993.378228. ISBN 0-8186-3870-2. S2CID  8619176.
40. Schmidhuber, Jürgen (2015). "Aprendizaje profundo". Scholarpedia . 10 (11): 1527–54. CiteSeerX 10.1.1.76.1541 . doi :10.1162/neco.2006.18.7.1527. PMID  16764513. S2CID  2309950. Archivado desde el original el 19 de abril de 2016 . Consultado el 20 de enero de 2019 . 
41. Homma, Toshiteru; Les Atlas; Robert Marks II (1988). "Una red neuronal artificial para patrones bipolares espacio-temporales: aplicación a la clasificación de fonemas" (PDF) . Avances en los sistemas de procesamiento de información neuronal . 1 : 31–40. Archivado (PDF) desde el original el 31 de marzo de 2022 . Consultado el 31 de marzo de 2022 .
42. Waibel, Alex (diciembre de 1987). "Reconocimiento de fonemas mediante redes neuronales con retardo de tiempo ". Reunión del Instituto de Ingenieros Eléctricos, de la Información y las Comunicaciones (IEICE). Tokio, Japón.
43. Alexander Waibel et al., Reconocimiento de fonemas mediante redes neuronales con retardo de tiempo Archivado el 25 de febrero de 2021 en Wayback Machine IEEE Transactions on Acoustics, Speech and Signal Processing, Volumen 37, No. 3, págs.328. - 339 Marzo de 1989.
44. LeCun, Yann; Bengio, Yoshua (1995). "Redes convolucionales para imágenes, discurso y series temporales". En Arbib, Michael A. (ed.). El manual de teoría del cerebro y redes neuronales (Segunda ed.). La prensa del MIT. págs. 276-278. Archivado desde el original el 28 de julio de 2020 . Consultado el 3 de diciembre de 2019 .
45. John B. Hampshire y Alexander Waibel, Arquitecturas conexionistas para el reconocimiento de fonemas de varios hablantes Archivado el 31 de marzo de 2022 en Wayback Machine , Avances en sistemas de procesamiento de información neuronal, 1990, Morgan Kaufmann.
46. Le Callet, Patricio; Christian Viard-Gaudin; Dominique Barba (2006). "Un enfoque de red neuronal convolucional para una evaluación objetiva de la calidad del vídeo" (PDF) . Transacciones IEEE en redes neuronales . 17 (5): 1316-1327. doi :10.1109/TNN.2006.879766. PMID  17001990. S2CID  221185563. Archivado (PDF) desde el original el 24 de febrero de 2021 . Consultado el 17 de noviembre de 2013 .
47. Ko, Tom; Peddinti, Vijayaditya; Povey, Daniel; Seltzer, Michael L.; Khudanpur, Sanjeev (marzo de 2018). Un estudio sobre el aumento de datos del habla reverberante para un reconocimiento de voz sólido (PDF) . La 42ª Conferencia Internacional IEEE sobre Acústica, Habla y Procesamiento de Señales (ICASSP 2017). Nueva Orleans, Luisiana, Estados Unidos. Archivado (PDF) desde el original el 8 de julio de 2018 . Consultado el 4 de septiembre de 2019 .
48. Denker, JS, Gardner, WR, Graf, H. P, Henderson, D, Howard, RE, Hubbard, W, Jackel, LD, BaIrd, HS y Guyon (1989) Reconocedor de redes neuronales para dígitos de códigos postales escritos a mano Archivado el 4 de agosto de 2018 en Wayback Machine , AT&T Bell Laboratories
49. Y. LeCun, B. Boser, JS Denker, D. Henderson, RE Howard, W. Hubbard, LD Jackel, Retropropagación aplicada al reconocimiento de códigos postales escritos a mano Archivado el 10 de enero de 2020 en Wayback Machine ; Laboratorios Bell de AT&T
50. Zhang, Wei (1991). "Procesamiento de imágenes del endotelio corneal humano basado en una red de aprendizaje". Óptica Aplicada . 30 (29): 4211–7. Código Bib : 1991ApOpt..30.4211Z. doi :10.1364/AO.30.004211. PMID  20706526. Archivado desde el original el 6 de febrero de 2017 . Consultado el 22 de septiembre de 2016 .
51. Zhang, Wei (1994). "Detección computarizada de microcalcificaciones agrupadas en mamografías digitales utilizando una red neuronal artificial invariante por cambio". Física Médica . 21 (4): 517–24. Código bibliográfico : 1994MedPh..21..517Z. doi : 10.1118/1.597177. PMID  8058017. Archivado desde el original el 6 de febrero de 2017 . Consultado el 22 de septiembre de 2016 .
52. Lecun, Y.; Jackel, LD; Bottou, L.; Cortés, C.; Denker, JS; Drucker, H.; Guyón, I.; Müller, UA; Sackinger, E.; Simard, P.; Vapnik, V. (agosto de 1995). Algoritmos de aprendizaje para la clasificación: una comparación sobre el reconocimiento de dígitos escritos a mano (PDF) . Científico mundial. págs. 261–276. doi :10.1142/2808. ISBN 978-981-02-2324-3. Archivado (PDF) desde el original el 2 de mayo de 2023.
53. Zhang, Wei (1991). "Propagación inversa de errores con pesos de entropía mínima: una técnica para una mejor generalización de NN invariantes de desplazamiento 2-D". Actas de la Conferencia Conjunta Internacional sobre Redes Neuronales . Archivado desde el original el 6 de febrero de 2017 . Consultado el 22 de septiembre de 2016 .
54. Daniel Graupe, Ruey Wen Liu, George S Moschytz."Aplicaciones de redes neuronales al procesamiento de señales médicas Archivado el 28 de julio de 2020 en Wayback Machine ". En Proc. 27ª Conferencia de Control y Decisión del IEEE, págs. 343–347, 1988.
55. Daniel Graupe, Boris Vern, G. Gruener, Aaron Field y Qiu Huang. "Descomposición de señales EMG de superficie en potenciales de acción de una sola fibra mediante red neuronal Archivado el 4 de septiembre de 2019 en Wayback Machine ". Proc. Simposio internacional IEEE. sobre circuitos y sistemas, págs. 1008-1011, 1989.
56. Qiu Huang, Daniel Graupe, Yi Fang Huang, Ruey Wen Liu. "Identificación de patrones de activación de señales neuronales ^{[ enlace muerto ]} ". En Proc. 28.a Conferencia de Control y Decisión del IEEE, págs. 266–271, 1989. https://ieeexplore.ieee.org/document/70115 Archivado el 31 de marzo de 2022 en Wayback Machine.
57. Behnke, Sven (2003). Redes neuronales jerárquicas para interpretación de imágenes (PDF) . Apuntes de conferencias sobre informática. vol. 2766. Saltador. doi :10.1007/b11963. ISBN 978-3-540-40722-5. S2CID  1304548. Archivado (PDF) desde el original el 10 de agosto de 2017 . Consultado el 28 de diciembre de 2016 .
58. Oh, Kansas; Jung, K (2004). "Implementación GPU de redes neuronales". Reconocimiento de patrones . 37 (6): 1311-1314. Código Bib : 2004PatRe..37.1311O. doi :10.1016/j.patcog.2004.01.013.
59. Dave Steinkraus; Patrice Simard; Ian Buck (2005). "Uso de GPU para algoritmos de aprendizaje automático". XII Conferencia Internacional sobre Análisis y Reconocimiento de Documentos (ICDAR 2005) . págs. 1115-1119. doi :10.1109/ICDAR.2005.251. Archivado desde el original el 31 de marzo de 2022 . Consultado el 31 de marzo de 2022 .
60. Kumar Chellapilla; Sid Puri; Patrice Simard (2006). "Redes neuronales convolucionales de alto rendimiento para el procesamiento de documentos". En Lorette, Guy (ed.). Décimo Taller Internacional sobre Fronteras en el Reconocimiento de Escritura . Suvisoft. Archivado desde el original el 18 de mayo de 2020 . Consultado el 14 de marzo de 2016 .
61. Hinton, GE; Osindero, S; Teh, YW (julio de 2006). "Un algoritmo de aprendizaje rápido para redes de creencias profundas". Computación neuronal . 18 (7): 1527–54. CiteSeerX 10.1.1.76.1541 . doi :10.1162/neco.2006.18.7.1527. PMID  16764513. S2CID  2309950. 
62. Bengio, Yoshua; Lamblin, Pascal; Popovici, Dan; Larochelle, Hugo (2007). "Entrenamiento codicioso en capas de redes profundas" (PDF) . Avances en los sistemas de procesamiento de información neuronal : 153–160. Archivado (PDF) desde el original el 2 de junio de 2022 . Consultado el 31 de marzo de 2022 .
63. Ranzato, MarcAurelio; Poultney, Christopher; Chopra, Sumit; LeCun, Yann (2007). "Aprendizaje eficiente de representaciones dispersas con un modelo basado en energía" (PDF) . Avances en los sistemas de procesamiento de información neuronal . Archivado (PDF) desde el original el 22 de marzo de 2016 . Consultado el 26 de junio de 2014 .
64. Raina, R; Madhavan, A; Ng, Andrew (14 de junio de 2009). "Aprendizaje profundo no supervisado a gran escala mediante procesadores gráficos" (PDF) . Actas de la 26ª Conferencia Internacional Anual sobre Aprendizaje Automático . ICML '09: Actas de la 26ª Conferencia Internacional Anual sobre Aprendizaje Automático. págs. 873–880. doi :10.1145/1553374.1553486. ISBN 9781605585161. S2CID  392458. Archivado (PDF) desde el original el 8 de diciembre de 2020 . Consultado el 22 de diciembre de 2023 .
65. Ciresano, Dan; Meier, Ueli; Gambardella, Luca; Schmidhuber, Jürgen (2010). "Redes neuronales simples, grandes y profundas para el reconocimiento de dígitos escritos a mano". Computación neuronal . 22 (12): 3207–3220. arXiv : 1003.0358 . doi :10.1162/NECO_a_00052. PMID  20858131. S2CID  1918673.
66. "Tabla de resultados de la competencia IJCNN 2011". CONCURSO OFICIAL IJCNN2011 . 2010. Archivado desde el original el 17 de enero de 2021 . Consultado el 14 de enero de 2019 .
67. Schmidhuber, Jürgen (17 de marzo de 2017). "Historia de los concursos de visión por computadora ganados por CNN profundas en GPU". Archivado desde el original el 19 de diciembre de 2018 . Consultado el 14 de enero de 2019 .
68. Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey E. (24 de mayo de 2017). "Clasificación de ImageNet con redes neuronales convolucionales profundas" (PDF) . Comunicaciones de la ACM . 60 (6): 84–90. doi :10.1145/3065386. ISSN  0001-0782. S2CID  195908774. Archivado (PDF) desde el original el 16 de mayo de 2017 . Consultado el 4 de diciembre de 2018 .
69. Él, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sol, Jian (2016). "Aprendizaje residual profundo para el reconocimiento de imágenes" (PDF) . Conferencia IEEE 2016 sobre visión por computadora y reconocimiento de patrones (CVPR) . págs. 770–778. arXiv : 1512.03385 . doi :10.1109/CVPR.2016.90. ISBN 978-1-4673-8851-1. S2CID  206594692. Archivado (PDF) desde el original el 5 de abril de 2022 . Consultado el 31 de marzo de 2022 .
70. Viebke, André; Pllana, Sabri (2015). "El potencial de Intel (R) Xeon Phi para el aprendizaje profundo supervisado". 2015 IEEE 17.ª Conferencia Internacional sobre Computación y Comunicaciones de Alto Rendimiento, 2015 IEEE 7.º Simposio Internacional sobre Seguridad en el Ciberespacio y 2015 IEEE 12.ª Conferencia Internacional sobre Software y Sistemas Integrados . IEEE Xplorar . IEEE 2015. págs. 758–765. doi :10.1109/HPCC-CSS-ICES.2015.45. ISBN 978-1-4799-8937-9. S2CID  15411954. Archivado desde el original el 6 de marzo de 2023 . Consultado el 31 de marzo de 2022 .
71. Viebke, André; Memeti, Suejb; Pllana, Sabri; Abraham, Ajith (2019). "CHAOS: un esquema de paralelización para entrenar redes neuronales convolucionales en Intel Xeon Phi". La revista de supercomputación . 75 (1): 197–227. arXiv : 1702.07908 . doi :10.1007/s11227-017-1994-x. S2CID  14135321.
72. Hinton, Geoffrey (2012). "Clasificación de ImageNet con redes neuronales convolucionales profundas". NIPS'12: Actas de la 25ª Conferencia Internacional sobre Sistemas de Procesamiento de Información Neural - Volumen 1 . 1 : 1097-1105. Archivado desde el original el 2019-12-20 . Recuperado 2021-03-26 - vía ACM.
73. Azulay, Aharon; Weiss, Yair (2019). "¿Por qué las redes convolucionales profundas se generalizan tan mal a pequeñas transformaciones de imágenes?". Revista de investigación sobre aprendizaje automático . 20 (184): 1–25. ISSN  1533-7928. Archivado desde el original el 31 de marzo de 2022 . Consultado el 31 de marzo de 2022 .
74. Géron, Aurélien (2019). Aprendizaje automático práctico con Scikit-Learn, Keras y TensorFlow . Sebastopol, CA: O'Reilly Media. ISBN 978-1-492-03264-9., págs.448
75. Raschka, Sebastián. "Adelante de la IA n.º 5: RevAIval de ideas". revista.sebastianraschka.com . Archivado desde el original el 7 de febrero de 2023 . Consultado el 7 de febrero de 2023 .
76. "CS231n Redes neuronales convolucionales para reconocimiento visual". cs231n.github.io . Archivado desde el original el 23 de octubre de 2019 . Consultado el 25 de abril de 2017 .
77. Scherer, Dominik; Müller, Andreas C.; Behnke, Sven (2010). "Evaluación de operaciones de agrupación en arquitecturas convolucionales para el reconocimiento de objetos" (PDF) . Redes neuronales artificiales (ICANN), 20ª Conferencia Internacional sobre . Salónica, Grecia: Springer. págs. 92-101. Archivado (PDF) desde el original el 3 de abril de 2018 . Consultado el 28 de diciembre de 2016 .
78. Graham, Benjamín (18 de diciembre de 2014). "Agrupación máxima fraccionada". arXiv : 1412.6071 [cs.CV].
79. Springenberg, Jost Tobías; Dosovitskiy, Alexey; Brox, Thomas; Riedmiller, Martín (21 de diciembre de 2014). "Luchando por la simplicidad: la red totalmente convolucional". arXiv : 1412.6806 [cs.LG].
80. Grel, Tomasz (28 de febrero de 2017). "Explicación de la agrupación de regiones de interés". deepsense.io . Archivado desde el original el 2 de junio de 2017 . Consultado el 5 de abril de 2017 .
81. Girshick, Ross (27 de septiembre de 2015). "R-CNN rápido". arXiv : 1504.08083 [cs.CV].
82. Mamá, Zhanyu; Chang, Dongliang; Xie, Jiyang; Ding, Yifeng; Wen, Shaoguo; Li, Xiaoxu; Si, Zhongwei; Guo, junio (2019). "Clasificación detallada de vehículos con CNN modificadas con agrupación máxima de canales". Transacciones IEEE sobre tecnología vehicular . Instituto de Ingenieros Eléctricos y Electrónicos (IEEE). 68 (4): 3224–3233. doi : 10.1109/tvt.2019.2899972. ISSN  0018-9545. S2CID  86674074.
83. Romanuke, Vadim (2017). "Número adecuado y asignación de ReLU en redes neuronales convolucionales". Boletín de investigación del NTUU "Instituto Politécnico de Kiev" . 1 (1): 69–78. doi : 10.20535/1810-0546.2017.1.88156 .
84. Xavier Glorot; Antoine Bordes; Yoshua Bengio (2011). Redes neuronales rectificadoras dispersas y profundas (PDF) . AISTATAS. Archivado desde el original (PDF) el 13 de diciembre de 2016 . Consultado el 10 de abril de 2023 . Funciones de activación de rectificador y softplus. El segundo es una versión fluida del primero.
85. Krizhevsky, A.; Sutskever, I.; Hinton, GE (2012). "Clasificación de Imagenet con redes neuronales convolucionales profundas" (PDF) . Avances en los sistemas de procesamiento de información neuronal . 1 : 1097-1105. Archivado (PDF) desde el original el 31 de marzo de 2022 . Consultado el 31 de marzo de 2022 .
86. "6.3. Padding and Stride: sumérjase en la documentación de Deep Learning 0.17.0". d2l.ai. _ Archivado desde el original el 12 de agosto de 2021 . Consultado el 12 de agosto de 2021 .
87. Deshpande, Adit. "Los 9 artículos sobre aprendizaje profundo que necesita conocer (Comprensión de las CNN, parte 3)". adeshpande3.github.io . Archivado desde el original el 21 de noviembre de 2018 . Consultado el 4 de diciembre de 2018 .
88. Pröve, Paul-Louis (7 de febrero de 2018). "Una introducción a diferentes tipos de convoluciones en el aprendizaje profundo". Medio . Archivado desde el original el 27 de julio de 2022 . Consultado el 27 de julio de 2022 .
89. Seo, Jae Duk (12 de marzo de 2018). "Comprensión de la operación de convolución dilatada 2D con ejemplos en Numpy y Tensorflow con..." Medio . Archivado desde el original el 6 de noviembre de 2021 . Consultado el 12 de agosto de 2021 .
90. Ribeiro, Antonio H.; Schön, Thomas B. (2021). "Cómo las redes neuronales convolucionales abordan el alias". ICASSP 2021 - 2021 Conferencia internacional IEEE sobre acústica, habla y procesamiento de señales (ICASSP) . págs. 2755–2759. arXiv : 2102.07757 . doi :10.1109/ICASSP39728.2021.9414627. ISBN 978-1-7281-7605-5. S2CID  231925012.
91. Myburgh, Johannes C.; Mouton, Coenraad; Davel, Marelie H. (2020). "Seguimiento de la invariancia de la traducción en CNNS". En Gerber, Aurona (ed.). Investigación en Inteligencia Artificial . Comunicaciones en Informática y Ciencias de la Información. vol. 1342. Cham: Editorial Internacional Springer. págs. 282–295. arXiv : 2104.05997 . doi :10.1007/978-3-030-66151-9_18. ISBN 978-3-030-66151-9. S2CID  233219976. Archivado desde el original el 22 de enero de 2022 . Consultado el 26 de marzo de 2021 .
92. Richard, Zhang (25 de abril de 2019). Hacer que las redes convolucionales vuelvan a ser invariantes. OCLC  1106340711.
93. Jadeberg, Simonyan, Zisserman, Kavukcuoglu, Max, Karen, Andrew, Koray (2015). «Redes de transformadores espaciales» (PDF) . Avances en los sistemas de procesamiento de información neuronal . 28 . Archivado (PDF) desde el original el 25 de julio de 2021 . Consultado el 26 de marzo de 2021 a través de NIPS.{{cite journal}}: CS1 maint: multiple names: authors list (link)
94. E, Sabour, Sara Frosst, Nicholas Hinton, Geoffrey (26 de octubre de 2017). Enrutamiento dinámico entre cápsulas. OCLC  1106278545.{{cite book}}: CS1 maint: multiple names: authors list (link)
95. Matiz, Sergio; Barner, Kenneth E. (1 de junio de 2019). "Predictor conforme inductivo para redes neuronales convolucionales: aplicaciones al aprendizaje activo para la clasificación de imágenes". Reconocimiento de patrones . 90 : 172–182. Código Bib : 2019PatRe..90..172M. doi :10.1016/j.patcog.2019.01.035. ISSN  0031-3203. S2CID  127253432. Archivado desde el original el 29 de septiembre de 2021 . Consultado el 29 de septiembre de 2021 .
96. Wieslander, Håkan; Harrison, Philip J.; Skogberg, Gabriel; Jackson, Sonya; Fridén, Markus; Karlsson, Johan; Spjuth, Ola; Wählby, Carolina (febrero de 2021). "Aprendizaje profundo con predicción conforme para el análisis jerárquico de imágenes de tejidos de portaobjetos completos a gran escala". Revista IEEE de Informática Biomédica y de Salud . 25 (2): 371–380. doi : 10.1109/JBHI.2020.2996300 . ISSN  2168-2208. PMID  32750907. S2CID  219885788.
97. Srivastava, nitish; C. Geoffrey Hinton; Alex Krizhevsky; Ilya Sutskever; Ruslan Salakhutdinov (2014). "Abandono: una forma sencilla de evitar el sobreajuste de las redes neuronales" (PDF) . Revista de investigación sobre aprendizaje automático . 15 (1): 1929-1958. Archivado (PDF) desde el original el 19 de enero de 2016 . Consultado el 3 de enero de 2015 .
98. Carlos E. Pérez. "Un lenguaje de patrones para el aprendizaje profundo". Archivado desde el original el 3 de junio de 2017 . Consultado el 15 de junio de 2016 .
99. "Regularización de redes neuronales mediante DropConnect | ICML 2013 | JMLR W&CP". jmlr.org : 1058–1066. 2013-02-13. Archivado desde el original el 12 de agosto de 2017 . Consultado el 17 de diciembre de 2015 .
100. Zeiler, Mateo D.; Fergus, Rob (15 de enero de 2013). "Agrupación estocástica para la regularización de redes neuronales convolucionales profundas". arXiv : 1301.3557 [cs.LG].
101. Platt, John; Steinkraus, Dave; Simard, Patrice Y. (agosto de 2003). "Mejores prácticas para redes neuronales convolucionales aplicadas al análisis de documentos visuales - Microsoft Research". Investigación de Microsoft . Archivado desde el original el 7 de noviembre de 2017 . Consultado el 17 de diciembre de 2015 .
102. Hinton, Geoffrey E.; Srivastava, nitish; Krizhevsky, Alex; Sutskever, Ilya; Salakhutdinov, Ruslan R. (2012). "Mejora de las redes neuronales evitando la coadaptación de detectores de características". arXiv : 1207.0580 [cs.NE].
103. "Abandono: una forma sencilla de evitar el sobreajuste de las redes neuronales". jmlr.org . Archivado desde el original el 5 de marzo de 2016 . Consultado el 17 de diciembre de 2015 .
104. Hinton, Geoffrey (1979). "Algunas demostraciones de los efectos de las descripciones estructurales en las imágenes mentales". Ciencia cognitiva . 3 (3): 231–250. doi :10.1016/s0364-0213(79)80008-7.
105. Roca, Irvin. "El marco de referencia". El legado de Solomon Asch: ensayos sobre cognición y psicología social (1990): 243–268.
106. J. Hinton, conferencias de Coursera sobre redes neuronales, 2012, URL: https://www.coursera.org/learn/neural-networks Archivado el 31 de diciembre de 2016 en Wayback Machine.
107. Dave Gershgorn (18 de junio de 2018). "La historia interna de cómo la IA se volvió lo suficientemente buena como para dominar Silicon Valley". Cuarzo . Archivado desde el original el 12 de diciembre de 2019 . Consultado el 5 de octubre de 2018 .
108. Lorenzo, Steve; C. Lee Giles; Ah Chung Tsoi; Andrew D. Atrás (1997). "Reconocimiento facial: un enfoque de red neuronal convolucional". Transacciones IEEE en redes neuronales . 8 (1): 98-113. CiteSeerX 10.1.1.92.5813 . doi : 10.1109/72.554195. PMID  18255614. S2CID  2883848. 
109. "Concurso de reconocimiento visual a gran escala de ImageNet 2014 (ILSVRC2014)". Archivado desde el original el 5 de febrero de 2016 . Consultado el 30 de enero de 2016 .
110. Szegedy, cristiano; Liu, Wei; Jia, Yangqing; Sermanet, Pierre; Reed, Scott E.; Anguelov, Dragomir; Erhan, Dumitru; Vanhoucke, Vicente; Rabinovich, Andrés (2015). "Profundizando con las convoluciones". Conferencia IEEE sobre visión por computadora y reconocimiento de patrones, CVPR 2015, Boston, MA, EE. UU., 7 al 12 de junio de 2015 . Sociedad de Computación IEEE. págs. 1–9. arXiv : 1409.4842 . doi :10.1109/CVPR.2015.7298594. ISBN 978-1-4673-6964-0.
111. Rusakovsky, Olga ; Deng, Jia; Su, Hao; Krause, Jonathan; Satheesh, Sanjeev; Mamá, Sean; Huang, Zhiheng; Karpathy, Andrej ; Khosla, Aditya; Bernstein, Michael; Berg, Alejandro C.; Fei-Fei, Li (2014). " Desafío de reconocimiento visual a gran escala de Image Net ". arXiv : 1409.0575 [cs.CV].
112. "El algoritmo de detección de rostros creado para revolucionar la búsqueda de imágenes". Revisión de tecnología . 16 de febrero de 2015. Archivado desde el original el 20 de septiembre de 2020 . Consultado el 27 de octubre de 2017 .
113. Baccouche, Moez; Mamalet, Franck; Lobo, cristiano; García, Christophe; Baskurt, Atilla (16 de noviembre de 2011). "Aprendizaje profundo secuencial para el reconocimiento de la acción humana". En Salah, Albert Ali; Lepri, Bruno (eds.). Comprensión del comportamiento humano . Apuntes de conferencias sobre informática. vol. 7065. Springer Berlín Heidelberg. págs. 29–39. CiteSeerX 10.1.1.385.4740 . doi :10.1007/978-3-642-25446-8_4. ISBN  978-3-642-25445-1.
114. Ji, Shuiwang; Xu, Wei; Yang, Ming; Yu, Kai (1 de enero de 2013). "Redes neuronales convolucionales 3D para el reconocimiento de la acción humana". Transacciones IEEE sobre análisis de patrones e inteligencia artificial . 35 (1): 221–231. CiteSeerX 10.1.1.169.4046 . doi :10.1109/TPAMI.2012.59. ISSN  0162-8828. PMID  22392705. S2CID  1923924. 
115. Huang, Jie; Zhou, Wengang; Zhang, Qilin; Li, Houqiang; Li, Weiping (2018). "Reconocimiento de lengua de signos basado en vídeo sin segmentación temporal". arXiv : 1801.10111 [cs.CV].
116. Karpatía, Andrej y col. «Clasificación de vídeos a gran escala con redes neuronales convolucionales Archivado el 6 de agosto de 2019 en Wayback Machine .» Conferencia IEEE sobre visión por computadora y reconocimiento de patrones (CVPR). 2014.
117. Simonyan, Karen; Zisserman, Andrés (2014). "Redes convolucionales de dos flujos para el reconocimiento de acciones en vídeos". arXiv : 1406.2199 [cs.CV].(2014).
118. Wang, Le; Duan, Xuhuan; Zhang, Qilin; Niu, Zhenxing; Hua, pandilla; Zheng, Nanning (22 de mayo de 2018). "Segment-Tube: localización de acciones espacio-temporales en vídeos sin recortar con segmentación por fotograma" (PDF) . Sensores . 18 (5): 1657. Código bibliográfico : 2018Senso..18.1657W. doi : 10.3390/s18051657 . ISSN  1424-8220. PMC 5982167 . PMID  29789447. Archivado (PDF) desde el original el 1 de marzo de 2021 . Consultado el 14 de septiembre de 2018 . 
119. Duan, Xuhuan; Wang, Le; Zhai, Changbo; Zheng, Nanning; Zhang, Qilin; Niu, Zhenxing; Hua, pandilla (2018). "Localización conjunta de acciones espacio-temporales en vídeos sin recortar con segmentación por fotograma". 2018 25a Conferencia Internacional IEEE sobre Procesamiento de Imágenes (ICIP) . 25ª Conferencia Internacional IEEE sobre Procesamiento de Imágenes (ICIP). págs. 918–922. doi :10.1109/icip.2018.8451692. ISBN 978-1-4799-7061-2.
120. Taylor, Graham W.; Fergus, Rob; LeCun, Yann; Bregler, Christoph (1 de enero de 2010). Aprendizaje convolucional de características espacio-temporales. Actas de la XI Conferencia Europea sobre Visión por Computadora: Parte VI. ECVC'10. Berlín, Heidelberg: Springer-Verlag. págs. 140-153. ISBN 978-3-642-15566-6. Archivado desde el original el 31 de marzo de 2022 . Consultado el 31 de marzo de 2022 .
121. Le, QV; Zou, WY; Yeung, SY; Ng, AY (1 de enero de 2011). "Aprendizaje de características espacio-temporales invariantes jerárquicas para el reconocimiento de acciones con análisis de subespacio independiente". CVPR 2011 . CVPR '11. Washington, DC, EE.UU.: IEEE Computer Society. págs. 3361–3368. CiteSeerX 10.1.1.294.5948 . doi :10.1109/CVPR.2011.5995496. ISBN  978-1-4577-0394-2. S2CID  6006618.
122. "Líder en India.ai" (PDF) . Archivado (PDF) desde el original el 14 de octubre de 2022 . Consultado el 13 de octubre de 2022 .
123. Grefenstette, Eduardo; Blunsom, Phil; de Freitas, Nando; Hermann, Karl Moritz (29 de abril de 2014). "Una arquitectura profunda para el análisis semántico". arXiv : 1404.7296 [cs.CL].
124. Mesnil, Gregoire; Deng, Li; Gao, Jianfeng; Él, Xiaodong; Shen, Yelong (abril de 2014). "Aprendizaje de representaciones semánticas mediante redes neuronales convolucionales para búsqueda web - Microsoft Research". Investigación de Microsoft . Archivado desde el original el 15 de septiembre de 2017 . Consultado el 17 de diciembre de 2015 .
125. Kalchbrenner, Nal; Grefenstette, Eduardo; Blunsom, Phil (8 de abril de 2014). "Una red neuronal convolucional para modelar oraciones". arXiv : 1404.2188 [cs.CL].
126. Kim, Yoon (25 de agosto de 2014). "Redes neuronales convolucionales para la clasificación de frases". arXiv : 1408.5882 [cs.CL].
127. Collobert, Ronan y Jason Weston. "Una arquitectura unificada para el procesamiento del lenguaje natural: redes neuronales profundas con aprendizaje multitarea Archivado el 4 de septiembre de 2019 en Wayback Machine ". Actas de la 25ª conferencia internacional sobre aprendizaje automático. ACM, 2008.
128. Collobert, Ronan; Weston, Jason; Bottou, León; Karlen, Michael; Kavukcuoglu, Koray; Kuksa, Pavel (2 de marzo de 2011). "Procesamiento del lenguaje natural (casi) desde cero". arXiv : 1103.0398 [cs.LG].
129. Yin, W; Kann, K; Yu, M; Schütze, H (2 de marzo de 2017). "Estudio comparativo de CNN y RNN para el procesamiento del lenguaje natural". arXiv : 1702.01923 [cs.LG].
130. Bai, S.; Kolter, JS; Koltún, V. (2018). "Una evaluación empírica de redes convolucionales y recurrentes genéricas para el modelado de secuencias". arXiv : 1803.01271 [cs.LG].
131. Gruber, N. (2021). "Detección de dinámicas de acción en texto con una red neuronal recurrente". Computación neuronal y aplicaciones . 33 (12): 15709–15718. doi :10.1007/S00521-021-06190-5. S2CID  236307579.
132. Haotian, J.; Zhong, Li; Qianxiao, Li (2021). "Teoría de aproximación de arquitecturas convolucionales para el modelado de series temporales". Congreso Internacional sobre Aprendizaje Automático . arXiv : 2107.09355 .
133. Ren, Hansheng; Xu, Bixiong; Wang, Yujing; Yi, Chao; Huang, Congrui; Kou, Xiaoyu; Xing, Tony; Yang, Mao; Tong, Jie; Zhang, Qi (2019). Servicio de detección de anomalías de series temporales en Microsoft | Actas de la 25ª Conferencia Internacional ACM SIGKDD sobre Descubrimiento de Conocimiento y Minería de Datos . arXiv : 1906.03821 . doi :10.1145/3292500.3330680. S2CID  182952311.
134. Valaco, Izhar; Dzamba, Michael; Heifets, Abraham (9 de octubre de 2015). "AtomNet: una red neuronal convolucional profunda para la predicción de la bioactividad en el descubrimiento de fármacos basado en estructuras". arXiv : 1510.02855 [cs.LG].
135. Yosinski, Jason; Clune, Jeff; Nguyen, Anh; Fuchs, Thomas; Lipson, Hod (22 de junio de 2015). "Comprensión de las redes neuronales mediante visualización profunda". arXiv : 1506.06579 [cs.CV].
136. "La startup de Toronto tiene una forma más rápida de descubrir medicamentos eficaces". El globo y el correo . Archivado desde el original el 20 de octubre de 2015 . Consultado el 9 de noviembre de 2015 .
137. "Startup aprovecha las supercomputadoras para buscar curas". KQED El futuro de ti . 2015-05-27. Archivado desde el original el 6 de diciembre de 2018 . Consultado el 9 de noviembre de 2015 .
138. Chellapilla, K; Fogel, DB (1999). "Evolución de redes neuronales para jugar a las damas sin depender del conocimiento experto". Red transneural IEEE . 10 (6): 1382–91. doi : 10.1109/72.809083. PMID  18252639.
139. Chellapilla, K.; Fogel, DB (2001). "Evolución de un programa experto en juego de damas sin utilizar experiencia humana". Transacciones IEEE sobre computación evolutiva . 5 (4): 422–428. doi : 10.1109/4235.942536.
140. Fogel, David (2001). Blondie24: Jugando al borde de la IA . San Francisco, California: Morgan Kaufmann. ISBN 978-1558607835.
141. Clark, Cristóbal; Storkey, Amós (2014). "Enseñar redes neuronales convolucionales profundas a jugar Go". arXiv : 1412.3409 [cs.AI].
142. Maddison, Chris J.; Huang, Aja; Sutskever, Ilya; Plata, David (2014). "Mover la evaluación en marcha utilizando redes neuronales convolucionales profundas". arXiv : 1412.6564 [cs.LG].
143. "AlphaGo-Google DeepMind". Archivado desde el original el 30 de enero de 2016 . Consultado el 30 de enero de 2016 .
144. Bai, Shaojie; Kolter, J. Zico; Koltun, Vladlen (19 de abril de 2018). "Una evaluación empírica de redes convolucionales y recurrentes genéricas para el modelado de secuencias". arXiv : 1803.01271 [cs.LG].
145. Yu, pescador; Koltun, Vladlen (30 de abril de 2016). "Agregación de contexto multiescala por convoluciones dilatadas". arXiv : 1511.07122 [cs.CV].
146. Borovykh, Anastasia; Bohte, Sander; Oosterlee, Cornelis W. (17 de septiembre de 2018). "Pronóstico de series temporales condicionales con redes neuronales convolucionales". arXiv : 1703.04691 [estad.ML].
147. Mittelman, Roni (3 de agosto de 2015). "Modelado de series de tiempo con redes neuronales totalmente convolucionales no diezmadas". arXiv : 1508.00317 [estad.ML].
148. Chen, Yitian; Kang, Yanfei; Chen, Yixiong; Wang, Zizhuo (11 de junio de 2019). "Predicción probabilística con red neuronal convolucional temporal". arXiv : 1906.04397 [estad.ML].
149. Zhao, Bendong; Lu, Huanzhang; Chen, Shangfeng; Liu, Junliang; Wu, Dongya (1 de febrero de 2017). "Redes neuronales convolucionales para series temporales clásicas". Revista de Ingeniería de Sistemas y Electrónica . 28 (1): 162–169. doi :10.21629/JSEE.2017.01.18.
150. Petneházi, Gábor (21 de agosto de 2019). "QCNN: red neuronal convolucional cuantil". arXiv : 1908.07978 [cs.LG].
151. Hubert Mara (7 de junio de 2019), HeiCuBeDa Hilprecht - Conjunto de datos de referencia cuneiforme de Heidelberg para la colección Hilprecht (en alemán), heiDATA - repositorio institucional de datos de investigación de la Universidad de Heidelberg, doi :10.11588/data/IE8CCN
152. Hubert Mara y Bartosz Bogacz (2019), "Rompiendo el código en tabletas rotas: el desafío de aprendizaje de la escritura cuneiforme anotada en conjuntos de datos 2D y 3D normalizados", Actas de la 15ª Conferencia Internacional sobre Análisis y Reconocimiento de Documentos (ICDAR) (en alemán ), Sydney, Australia, págs. 148-153, doi :10.1109/ICDAR.2019.00032, ISBN 978-1-7281-3014-9, S2CID  211026941
153. Bogacz, Bartosz; Mara, Hubert (2020), "Clasificación de períodos de tabletas cuneiformes 3D con redes neuronales geométricas", Actas de la 17.ª Conferencia internacional sobre las fronteras del reconocimiento de escritura a mano (ICFHR) , Dortmund, Alemania
154. Presentación del documento de la ICFHR sobre clasificación de períodos de tablillas cuneiformes 3D con redes neuronales geométricas en YouTube
155. Durjoy Sen Maitra; Ujjwal Bhattacharya; SK Parui, "Enfoque común basado en CNN para el reconocimiento de caracteres escritos a mano de múltiples escrituras" Archivado el 16 de octubre de 2023 en Wayback Machine , en Análisis y reconocimiento de documentos (ICDAR), 13.ª Conferencia Internacional de 2015, vol., no., págs. 1021–1025, 23–26 de agosto de 2015
156. "NIPS 2017". Simposio de ML interpretable . 2017-10-20. Archivado desde el original el 7 de septiembre de 2019 . Consultado el 12 de septiembre de 2018 .
157. Zang, Jinliang; Wang, Le; Liu, Ziyi; Zhang, Qilin; Hua, pandilla; Zheng, Nanning (2018). "Red neuronal convolucional ponderada temporal basada en la atención para el reconocimiento de acciones". Aplicaciones e innovaciones de la inteligencia artificial . Avances del IFIP en tecnologías de la información y las comunicaciones. vol. 519. Cham: Editorial Internacional Springer. págs. 97-108. arXiv : 1803.07179 . doi :10.1007/978-3-319-92007-8_9. ISBN 978-3-319-92006-1. ISSN  1868-4238. S2CID  4058889.
158. Wang, Le; Zang, Jinliang; Zhang, Qilin; Niu, Zhenxing; Hua, pandilla; Zheng, Nanning (21 de junio de 2018). "Reconocimiento de acciones mediante una red neuronal convolucional ponderada temporal consciente de la atención" (PDF) . Sensores . 18 (7): 1979. Código bibliográfico : 2018Senso..18.1979W. doi : 10.3390/s18071979 . ISSN  1424-8220. PMC 6069475 . PMID  29933555. Archivado (PDF) desde el original el 13 de septiembre de 2018 . Consultado el 14 de septiembre de 2018 . 
159. Ong, Hao Yi; Chávez, Kevin; Hong, Augusto (18 de agosto de 2015). "Q-Learning profundo distribuido". arXiv : 1508.04186v2 [cs.LG].
160. Mnih, Volodymyr; et al. (2015). "Control a nivel humano mediante aprendizaje por refuerzo profundo". Naturaleza . 518 (7540): 529–533. Código Bib :2015Natur.518..529M. doi : 10.1038/naturaleza14236. PMID  25719670. S2CID  205242740.
161. Sol, R.; Sessions, C. (junio de 2000). "Autosegmentación de secuencias: formación automática de jerarquías de comportamientos secuenciales". Transacciones IEEE sobre sistemas, hombre y cibernética - Parte B: Cibernética . 30 (3): 403–418. CiteSeerX 10.1.1.11.226 . doi : 10.1109/3477.846230. ISSN  1083-4419. PMID  18252373. 
162. "Redes convolucionales de creencias profundas en CIFAR-10" (PDF) . Archivado (PDF) desde el original el 30 de agosto de 2017 . Consultado el 18 de agosto de 2017 .
163. Lee, Honglak; Grosse, Roger; Ranganath, Rajesh; Ng, Andrew Y. (1 de enero de 2009). "Redes convolucionales de creencias profundas para el aprendizaje escalable no supervisado de representaciones jerárquicas". Actas de la 26ª Conferencia Internacional Anual sobre Aprendizaje Automático . ACM. págs. 609–616. CiteSeerX 10.1.1.149.6800 . doi :10.1145/1553374.1553453. ISBN  9781605585161. S2CID  12008458.
164. Cade Metz (18 de mayo de 2016). "Google construyó sus propios chips para impulsar sus robots de inteligencia artificial". Cableado . Archivado desde el original el 13 de enero de 2018 . Consultado el 6 de marzo de 2017 .

enlaces externos

• CS231n: Redes neuronales convolucionales para el reconocimiento visual: curso de informática de Stanford de Andrej Karpathy sobre CNN en visión por computadora
• Una explicación intuitiva de las redes neuronales convolucionales: una introducción para principiantes sobre qué son las redes neuronales convolucionales y cómo funcionan
• Redes neuronales convolucionales para clasificación de imágenes Archivado el 21 de enero de 2018 en Wayback Machine - Encuesta de literatura