Perceptrones (libro)

Libro de Marvin Minsky y Seymour Papert

Perceptrones: una introducción a la geometría computacional es un libro escrito por Marvin Minsky y Seymour Papert y publicado en 1969. A principios de la década de 1970 se publicó una edición con correcciones y adiciones manuscritas. En 1988 se publicó una edición ampliada ( ISBN 9780262631112 ) después del resurgimiento de las redes neuronales , que contiene un capítulo dedicado a contrarrestar las críticas que se le hicieron en la década de 1980.  

El tema principal del libro es el perceptrón , un tipo de red neuronal artificial desarrollada a finales de los años cincuenta y principios de los sesenta. El libro estaba dedicado al psicólogo Frank Rosenblatt , quien en 1957 había publicado el primer modelo de "perceptrón". ^[1] Rosenblatt y Minsky se conocían desde la adolescencia, habiendo estudiado con un año de diferencia en la Bronx High School of Science . ^[2] En un momento dado se convirtieron en figuras centrales de un debate dentro de la comunidad de investigación de IA, y se sabe que promovieron fuertes debates en conferencias, pero se mantuvieron amistosos. ^[3]

Este libro es el centro de una controversia de larga data en el estudio de la inteligencia artificial . Se afirma que las predicciones pesimistas hechas por los autores fueron responsables de un cambio en la dirección de la investigación en IA, concentrando esfuerzos en los llamados sistemas "simbólicos", una línea de investigación que se extinguió y contribuyó al llamado invierno de la IA. de los años 1980, cuando la promesa de la IA no se cumplió. ^[4]

El quid de los perceptrones es una serie de pruebas matemáticas que reconocen algunas de las fortalezas de los perceptrones y al mismo tiempo muestran limitaciones importantes. ^[3] El más importante está relacionado con el cálculo de algunos predicados, como la función XOR, y también el importante predicado de conectividad. El problema de la conectividad se ilustra en la portada del libro, de colores extraños, y pretende mostrar cómo los propios humanos tienen dificultades para calcular este predicado. ^[5] Un crítico, Earl Hunt , señaló que la función XOR también es difícil de adquirir para los humanos durante los experimentos de aprendizaje de conceptos . ^[6]

Historial de publicaciones

Cuando Papert llegó al MIT en 1963, Minsky y Papert decidieron escribir un informe teórico sobre las limitaciones de los perceptrones. Les llevó hasta 1969 terminar de resolver los problemas matemáticos que surgieron inesperadamente mientras escribían. La primera edición se imprimió en 1969. Los autores realizaron modificaciones manuscritas para la segunda impresión en 1972. Las notas manuscritas incluyen algunas referencias a la revisión de la primera edición. ^{[7] [8] [9]}

En 1988 se publicó una "edición ampliada", que añade un prólogo y un epílogo para discutir el resurgimiento de las redes neuronales en la década de 1980, pero no hay nuevos resultados científicos. ^[10] En 2017, se reimprimió la edición ampliada, con un prólogo de Léon Bottou que analiza el libro desde la perspectiva de alguien que trabaja en el aprendizaje profundo .

Fondo

El perceptrón es una red neuronal desarrollada por el psicólogo Frank Rosenblatt en 1958 y es una de las máquinas más famosas de su época. ^{[11] [12]} En 1960, Rosenblatt y sus colegas pudieron demostrar que el perceptrón podía, en un número finito de ciclos de entrenamiento, aprender cualquier tarea que sus parámetros pudieran incorporar. El teorema de convergencia del perceptrón se demostró para redes neuronales de una sola capa. ^[12]

Durante este período, la investigación de redes neuronales fue un enfoque importante para la cuestión cerebro-máquina que había sido adoptado por un número significativo de personas. ^[12] Informes del New York Times y declaraciones de Rosenblatt afirmaron que las redes neuronales pronto podrían ver imágenes, vencer a los humanos en el ajedrez y reproducirse. ^[3] Al mismo tiempo, surgieron nuevos enfoques, incluida la IA simbólica . ^[13] Diferentes grupos se encontraron compitiendo por financiación y personas, y su demanda de potencia informática superó con creces la oferta disponible. ^[14]

Contenido

Perceptrones: una introducción a la geometría computacional es un libro de trece capítulos agrupados en tres secciones. Los capítulos 1 a 10 presentan la teoría del perceptrón de los autores a través de pruebas, el capítulo 11 implica el aprendizaje, el capítulo 12 trata problemas de separación lineal y el capítulo 13 analiza algunas de las ideas de los autores sobre perceptrones simples y multicapa y el reconocimiento de patrones. ^{[15] [16]}

Definición de perceptrón

Minsky y Papert tomaron como tema las versiones abstractas de una clase de dispositivos de aprendizaje a los que llamaron perceptrones, "en reconocimiento al trabajo pionero de Frank Rosenblatt". ^[16] Estos perceptrones eran formas modificadas de los perceptrones introducidos por Rosenblatt en 1958. Consistían en una retina, una sola capa de funciones de entrada y una única salida. ^{[15] [12]}

Además de esto, los autores restringieron el "orden", o el número máximo de conexiones entrantes, de sus perceptrones. El sociólogo Mikel Olazaran explica que Minsky y Papert "sostuvieron que el interés de la computación neuronal venía de que era una combinación paralela de información local ", que, para ser eficaz, tenía que ser un cálculo simple. Para los autores, esto implicaba que "cada unidad de asociación sólo podría recibir conexiones de una pequeña parte del área de entrada". ^[12] Minsky y Papert llamaron a este concepto "localidad conjuntiva". ^[dieciséis]

Paridad y conectividad

Dos ejemplos principales analizados por los autores fueron la paridad y la conectividad. La paridad implica determinar si el número de entradas activadas en la retina de entrada es par o impar, y la conectividad se refiere al problema figura-fondo . Minsky y Papert demostraron que el perceptrón de una sola capa no podía calcular la paridad bajo la condición de localidad conjuntiva (Teorema 3.1.1), y demostraron que el orden requerido para que un perceptrón computara la conectividad crecía con el tamaño de entrada (Teorema 5.5). ^{[17] [16]}

El asunto XOR

Algunos críticos del libro ^{[ cita necesaria ]} afirman que los autores dan a entender que, dado que una sola neurona artificial es incapaz de implementar algunas funciones como la función lógica XOR , las redes más grandes también tienen limitaciones similares y, por lo tanto, deberían descartarse. La investigación sobre perceptrones de tres capas mostró cómo implementar tales funciones. Rosenblatt en su libro demostró que un perceptrón elemental con un número a priori ilimitado de elementos A de capa oculta (neuronas) y una neurona de salida puede resolver cualquier problema de clasificación. (Teorema de existencia. ^[18] ) Minsky y Papert utilizaron perceptrones con un número restringido de entradas de los elementos A de la capa oculta y condición de localidad: cada elemento de la capa oculta recibe las señales de entrada de un pequeño círculo. Estos perceptrones restringidos no pueden definir si la imagen es una figura conectada o si el número de píxeles de la imagen es par (el predicado de paridad).

Hay muchos errores en esta historia ^{[ cita requerida ]} . Aunque, de hecho, una sola neurona puede calcular solo una pequeña cantidad de predicados lógicos, era ampliamente conocido ^{[ cita requerida ] que las redes de tales elementos pueden calcular cualquier} función booleana posible . Esto lo sabían Warren McCulloch y Walter Pitts , quienes incluso propusieron cómo crear una máquina de Turing con sus neuronas formales (Sección III de ^[19] ), y se menciona en el libro de Rosenblatt, mencionado en un artículo típico de 1961 (Figura 15 ^{[20] ]} ), e incluso se menciona en el libro Perceptrons. ^[21] Minsky también utiliza ampliamente neuronas formales para crear computadoras teóricas simples en el Capítulo 3 de su libro Computation: Finite and Infinite Machines .

En la década de 1960, se estudia un caso especial de la red de perceptrones como "lógica de umbral lineal", para aplicaciones en circuitos lógicos digitales. ^[22] La teoría clásica se resume en ^[23] según Donald Knuth. ^[24] En este caso especial, el aprendizaje de perceptrones se denominó "síntesis de elemento de umbral único por iteración", y la construcción de una red de perceptrones se denominó "síntesis de red". ^[25] Otros nombres incluían lógica linealmente separable, lógica de entrada lineal, lógica de umbral, lógica mayoritaria y lógica de votación . El hardware para realizar la lógica de umbral lineal incluía núcleo magnético , transistor de resistencia , parametron , diodo de túnel de resistencia y relé de bobina múltiple . ^[26] También hubo estudios teóricos sobre los límites superior e inferior del número mínimo de unidades de perceptrón necesarias para realizar cualquier función booleana. ^{[27] [28]}

Lo que el libro sí demuestra es que en perceptrones de retroalimentación de tres capas (con una capa llamada "oculta" o "intermediaria"), no es posible calcular algunos predicados a menos que al menos una de las neuronas de la primera capa de neuronas (la capa "intermediaria") está conectada con un peso no nulo a todas y cada una de las entradas (Teorema 3.1.1, reproducido a continuación). Esto era contrario a la esperanza de algunos investigadores ^{[ cita necesaria ]} de confiar principalmente en redes con unas pocas capas de neuronas "locales", cada una conectada sólo a una pequeña cantidad de entradas. Una máquina de retroalimentación con neuronas "locales" es mucho más fácil de construir y usar que una red neuronal más grande y completamente conectada, por lo que los investigadores en ese momento se concentraron en estos en lugar de modelos más complicados ^{[ cita necesaria ]} .

Algunos otros críticos, en particular Jordan Pollack , señalan que lo que era una pequeña prueba sobre un problema global (la paridad) que no era detectable por los detectores locales fue interpretado por la comunidad como un intento bastante exitoso de enterrar toda la idea. ^[29]

Crítica de los perceptrones y sus extensiones.

En el prólogo y el epílogo, añadidos a la edición de 1988, los autores reaccionan al resurgimiento de las redes neuronales en la década de 1980, analizando las redes neuronales multicapa y los perceptrones Gamba. ^{[30] [31] [32] [33]} Por "perceptrones Gamba", se referían a máquinas perceptrones de dos capas donde la primera capa también está hecha de unidades de perceptrones ("máscaras Gamba"). Por el contrario, la mayor parte del libro analiza perceptrones de dos capas, donde la primera capa está formada por unidades booleanas. Conjeturan que las máquinas Gamba requerirían "una enorme cantidad" de máscaras Gamba y que las redes neuronales multicapa son una extensión "estéril". Además, señalan que muchos de los problemas "imposibles" de los perceptrones ya se habían resuelto utilizando otros métodos. ^[dieciséis]

El perceptrón Gamba era similar al perceptrón de Rosenblatt. Su entrada fueron imágenes. La imagen pasa a través de máscaras binarias (generadas aleatoriamente) en paralelo. Detrás de cada máscara hay un fotorreceptor que se activa si la entrada, después del enmascaramiento, es lo suficientemente brillante. La segunda capa está formada por unidades de perceptrón estándar.

Afirmaron que la investigación sobre perceptrones decayó en la década de 1970 no a causa de su libro, sino debido a problemas inherentes: ninguna máquina de aprendizaje de perceptrones podía realizar la asignación de créditos mejor que la regla de aprendizaje de perceptrones de Rosenblatt, y los perceptrones no pueden representar el conocimiento requerido para resolver ciertos problemas. ^[29]

En el capítulo final, afirmaron que para las redes neuronales de la década de 1980, "poco de importancia ha cambiado desde 1969". Predijeron que cualquier máquina única y homogénea no lograría escalar. Las redes neuronales entrenadas mediante descenso de gradiente no lograrían escalar debido a mínimos locales , pesos extremadamente grandes y una convergencia lenta. Todos los algoritmos generales de aprendizaje para redes neuronales deben ser poco prácticos, porque no existe una teoría general independiente del dominio sobre "cómo funcionan las redes neuronales". Sólo una sociedad mental puede funcionar. Específicamente, pensaron que hay muchos tipos diferentes de pequeños problemas en el mundo, cada uno de ellos en la escala de un "problema de juguete". Los grandes problemas siempre se pueden descomponer en pequeños problemas. Cada uno requiere un algoritmo diferente para resolverlo: algunos son perceptrones, otros son programas lógicos, etc. Cualquier máquina homogénea no puede resolver todos los pequeños problemas, excepto un pequeño número. La inteligencia humana no consiste más que en una colección de muchos pequeños algoritmos diferentes organizados como una sociedad. ^[29]

Contenido matemático

Definiciones preliminares

Sea un conjunto finito. Un predicado on es una función booleana que toma un subconjunto de y genera o . En particular, una unidad de perceptrón es un predicado. ${\textstyle R}$ ${\textstyle R}$ ${\textstyle R}$ ${\textstyle 0}$ ${\textstyle 1}$

Un predicado tiene apoyo , si lo hay , lo tenemos . En palabras, significa que si sabemos cómo funciona en subconjuntos de , entonces sabemos cómo funciona en subconjuntos de todos . ${\textstyle \psi }$ ${\textstyle S\subset R}$ ${\textstyle X\subset S}$ ${\textstyle \psi (X)=\psi (X\cap S)}$ ${\textstyle \psi }$ ${\textstyle S}$ ${\textstyle R}$

Un predicado puede tener muchos soportes diferentes. El tamaño de soporte de un predicado es el número mínimo de elementos necesarios en su soporte. Por ejemplo, las funciones constante-0 y constante-1 son compatibles con el conjunto vacío, por lo que ambas tienen un tamaño de soporte 0. ${\textstyle \psi }$

Un perceptrón (del tipo estudiado por Minsky y Papert) es una función de la forma. ${\textstyle R}$

$${\displaystyle \theta \left(\sum _{i}a_{i}\psi _{i}\right)}$$

${\textstyle \psi _{i}}$ ${\textstyle a_{i}}$

Si es un conjunto de predicados, entonces es el conjunto de todos los perceptrones que usan solo predicados en . ${\textstyle \Phi }$ ${\textstyle L(\Phi )}$ ${\textstyle \Phi }$

El orden de un perceptrón es el tamaño máximo de soporte de los predicados que lo componen . ${\textstyle \theta \left(\sum _{i}a_{i}\psi _{i}\right)}$ ${\textstyle \{\psi _{i}\}_{i}}$

El orden de una función booleana es el orden mínimo posible para un perceptrón que implementa la función booleana. ${\textstyle R}$

Una función booleana es conjuntivamente local si y sólo si su orden no aumenta hasta el infinito cuando aumenta hasta el infinito. ${\displaystyle |R|}$

La máscara de es el predicado definido por ${\textstyle A\subset R}$ ${\textstyle 1_{A}}$

$${\displaystyle 1_{A}(X)={\begin{cases}1&{\text{ if }}A\subset X,\\0&{\text{ else.}}\end{cases}}}$$

Teoremas principales

Teorema 1.5.1, Forma normal positiva  :  si un perceptrón es de orden , entonces es de orden usando solo máscaras. ${\textstyle k}$ ${\textstyle k}$

Prueba

Sea el perceptrón , donde cada uno tiene como máximo un tamaño de soporte . Lo convertimos en una suma lineal de máscaras, cada una de las cuales tiene un tamaño como máximo . ${\textstyle \theta \left(\sum _{i}a_{i}\psi _{i}\right)}$ ${\textstyle \psi _{i}}$ ${\textstyle k}$ ${\textstyle k}$

Déjate apoyar en el set . Escríbalo en forma normal disyuntiva, con una cláusula para cada subconjunto de on which return y, para cada subconjunto, escriba un literal positivo para cada elemento del subconjunto y un literal negativo en caso contrario. ${\textstyle \psi _{i}}$ ${\textstyle A}$ ${\textstyle A}$ ${\textstyle \psi _{i}}$ ${\textstyle 1}$

Por ejemplo, supongamos que es compatible con y está en todos los subconjuntos de tamaño impar, entonces podemos escribirlo como ${\textstyle \psi _{i}}$ ${\textstyle \{1,2\}}$ ${\textstyle 1}$

$${\displaystyle (x_{1}\land \neg x_{2})\lor (\neg x_{1}\land x_{2})}$$

Ahora, convierta esta fórmula a una fórmula de álgebra booleana, luego expanda, obteniendo una suma lineal de máscaras. Por ejemplo, la fórmula anterior se convierte a

$${\displaystyle x_{1}(1-x_{2})+(1-x_{1})x_{2}=x_{1}+x_{2}-2x_{1}x_{2}}$$

Repetimos esto para cada predicado usado en el perceptrón y los sumamos, obtenemos un perceptrón equivalente usando solo máscaras.

Sea el grupo de permutación de los elementos de y sea un subgrupo de . ${\textstyle S_{R}}$ ${\textstyle R}$ ${\textstyle G}$ ${\textstyle S_{R}}$

Decimos que un predicado es invariante si y solo para cualquiera . Es decir, cualquiera que tengamos . ${\textstyle \psi }$ ${\textstyle G}$ ${\textstyle \psi \circ g=\psi }$ ${\textstyle g\in G}$ ${\textstyle X\subset R}$ ${\textstyle \psi (X)=\psi (g(X))}$

Por ejemplo, la función de paridad es invariante, ya que cualquier permutación del conjunto conserva el tamaño y, por tanto, la paridad de cualquiera de sus subconjuntos. ${\textstyle S_{R}}$

Teorema 2.3, teorema de invariancia de grupo  :  si está cerrado bajo la acción de y es invariante, existe un perceptrón ${\textstyle \Phi }$ ${\textstyle G}$ ${\textstyle \psi \in L(\Phi )}$ ${\textstyle G}$

$${\displaystyle \theta \left(\sum _{i}a_{i}\psi _{i}\right)=\psi }$$

tal que si para algunos , entonces . ${\textstyle \psi _{i}=\psi _{j}\circ g}$ ${\textstyle g\in G}$ ${\textstyle a_{i}=a_{j}}$

Prueba

La idea de la prueba es tomar el promedio de todos los elementos de . ${\textstyle G}$

Enumere los predicados en as y escriba para el índice del predicado tal que , for any . Es decir, hemos definido una acción grupal en el set . ${\textstyle \Phi }$ ${\textstyle \psi _{1},\psi _{2},...}$ ${\textstyle g(j)}$ ${\textstyle \psi _{g(j)}=\psi _{j}\circ g}$ ${\textstyle g\in G}$ ${\textstyle \Phi }$

Definir . Afirmamos que este es el perceptrón deseado. ${\textstyle a_{j}:=\sum _{g\in G}b_{g^{-1}(j)}}$

Dado que existen algunos números reales tales que ${\textstyle \psi \in L(\Phi )}$ ${\textstyle b_{j}}$

$${\displaystyle \theta \left(\sum _{j}b_{j}\psi _{j}\right)=\psi }$$

Por definición de -invarianza, si , entonces para todos . Eso es, ${\textstyle G}$ ${\textstyle \psi (A)=1}$ ${\textstyle \psi (g(A))=1}$ ${\textstyle g\in G}$

$${\displaystyle \sum _{j}b_{j}(\psi _{j}\circ g)(A)>0;\quad g\in G}$$

y así, tomando el promedio de todos los elementos en , tenemos ${\textstyle G}$

$${\displaystyle 0<\sum _{g\in G}\sum _{j}b_{j}(\psi _{j}\circ g)(A)=\sum _{g\in G}\sum _{j}b_{g^{-1}(j)}\psi _{j}(A)=\sum _{j}\left(\sum _{g\in G}b_{g^{-1}(j)}\right)\psi _{j}(A)=\sum _{j}a_{j}\psi _{j}(A)}$$

De manera similar para el caso donde . ${\textstyle \psi (A)=0}$

Teorema 3.1.1  :  La función de paridad tiene orden . ${\textstyle |R|}$

Prueba

Sea la función de paridad y sea el conjunto de todas las máscaras de tamaño . Claramente ambos y son invariantes bajo todas las permutaciones. ${\textstyle \psi _{parity}}$ ${\textstyle \Phi }$ ${\textstyle \leq |R|-1}$ ${\textstyle \psi _{parity}}$ ${\textstyle \Phi }$

Supongamos que tiene orden , entonces según el teorema de la forma normal positiva ,. ${\textstyle \psi _{parity}}$ ${\textstyle \leq |R|-1}$ ${\textstyle \psi _{parity}\in L(\Phi )}$

Según el teorema de invariancia de grupo, existe un perceptrón

$${\displaystyle \theta \left(\sum _{i}a_{i}\psi _{i}\right)=\psi _{parity}}$$

tal que depende sólo de la clase de equivalencia de la máscara , y por tanto, sólo depende del tamaño de la máscara . Es decir, existen números reales tales que si la máscara está puesta , entonces . ${\textstyle a_{i}}$ ${\textstyle S_{R}}$ ${\textstyle \psi _{i}}$ ${\textstyle \psi _{i}}$ ${\textstyle b_{0},b_{1},...,b_{|R|-1}}$ ${\textstyle \psi _{i}}$ ${\textstyle A}$ ${\textstyle a_{i}=b_{|A|}}$

Ahora podemos calcular explícitamente el perceptrón en cualquier subconjunto . ${\textstyle X\subset R}$

Como contiene subconjuntos de tamaño , ingresamos la fórmula del perceptrón y calculamos: ${\textstyle X}$ ${\textstyle {\binom {|X|}{k}}}$ ${\textstyle k}$

$${\displaystyle \psi _{parity}(X)=\theta \left(\sum _{k=0}^{|R|-1}b_{k}{\binom {|X|}{k}}\right)}$$

Ahora, define la función polinómica.

$${\displaystyle p(x):=\sum _{k=0}^{|R|-1}b_{k}{\binom {x}{k}}}$$

dónde . Tiene como máximo grado . entonces como , para cada uno , tenemos ${\textstyle {\binom {x}{k}}={\frac {x(x-1)\cdots (x-k+1)}{k!}}}$ ${\textstyle |R|-1}$ ${\textstyle \theta (p(|X|))=\psi _{parity}(X)}$ ${\textstyle |X|=0,1,2,...,|R|}$

$${\displaystyle p(0)-\epsilon >0,\quad p(1)-\epsilon <0,\quad p(2)-\epsilon >0,\quad \cdots }$$

por un pequeño positivo . ${\textstyle \epsilon }$

Así, el polinomio de grado tiene al menos raíces diferentes, una en cada contradicción. ${\textstyle \leq |R|-1}$ ${\textstyle p-\epsilon }$ ${\textstyle |R|}$ ${\textstyle (0,1),(1,2),...,(|R|-1,|R|)}$

Teorema 5.9  :  Los únicos predicados topológicamente invariantes de orden finito son funciones del número de Euler . ${\textstyle E}$

Es decir, si una función booleana que depende de la topología puede implementarse mediante un perceptrón de orden , tal que sea fijo y no crezca a medida que crece hasta convertirse en un rectángulo cada vez más grande, entonces tiene forma , para alguna función . ${\textstyle \psi }$ ${\textstyle k}$ ${\textstyle k}$ ${\textstyle R}$ ${\textstyle \psi }$ ${\textstyle f\circ E}$ ${\textstyle f:\mathbb {N} \to 2}$

Prueba: omitida.

Sección 5.5, debida a David A. Huffman  :  Sea el rectángulo de forma , entonces como , la función de conectividad tiene un orden que crece al menos tan rápido como . ${\textstyle R_{n}}$ ${\textstyle 5n\times (2n+12)}$ ${\textstyle n\to \infty }$ ${\textstyle R_{n}}$ ${\textstyle \Omega (|R_{n}|^{1/2})}$

Bosquejo de prueba: reduciendo la función de paridad a la función de conectividad, utilizando dispositivos de circuito. Tiene un estilo similar al que muestra que Sokoban es NP-duro. ^[34]

Recepción y legado

Perceptrones recibió varias críticas positivas en los años posteriores a su publicación. En 1969, el profesor de Stanford Michael A. Arbib afirmó: "[e]ste libro ha sido ampliamente aclamado como un nuevo y apasionante capítulo en la teoría del reconocimiento de patrones". ^[35] A principios de ese año, el profesor de CMU Allen Newell compuso una reseña del libro para Science , abriendo el artículo declarando "[e]ste es un gran libro". ^[36]

Por otro lado, HD Block expresó su preocupación por la estrecha definición de perceptrones de los autores. Argumentó que "estudian una clase muy limitada de máquinas desde un punto de vista bastante ajeno al de Rosenblatt" y, por tanto, el título del libro era "seriamente engañoso". ^[15] Los investigadores contemporáneos de redes neuronales compartieron algunas de estas objeciones: Bernard Widrow se quejó de que los autores habían definido los perceptrones de manera demasiado estricta, pero también dijo que las pruebas de Minsky y Papert eran "prácticamente irrelevantes", llegando una década después del perceptrón de Rosenblatt. ^[17]

A menudo se piensa que los perceptrones provocaron un declive en la investigación de redes neuronales en los años 1970 y principios de los 1980. ^{[3] [37]} Durante este período, los investigadores de redes neuronales continuaron con proyectos más pequeños fuera de la corriente principal, mientras que la investigación de IA simbólica experimentó un crecimiento explosivo. ^{[38] [3]}

Con el resurgimiento del conexionismo a finales de los años 80, el investigador del PDP David Rumelhart y sus colegas volvieron a los perceptrones . En un informe de 1986, afirmaron haber superado los problemas presentados por Minsky y Papert, y que "su pesimismo sobre el aprendizaje en máquinas multicapa estaba fuera de lugar". ^[3]

Análisis de la controversia

Es muy instructivo saber lo que los propios Minsky y Papert dijeron en los años 1970 sobre cuáles eran las implicaciones más amplias de su libro. En su sitio web Harvey Cohen, ^[39] investigador de los laboratorios de IA del MIT 1974+, ^[40] cita a Minsky y Papert en el Informe de 1971 del Proyecto MAC, dirigido a agencias de financiación, sobre las "redes Gamba": ^[30] "Prácticamente No se sabe nada sobre las capacidades computacionales de este último tipo de máquina. Creemos que puede hacer poco más que un perceptrón de orden inferior. En la página anterior, Minsky y Papert dejan claro que las "redes Gamba" son redes con capas ocultas.

Minsky ha comparado el libro con el libro de ficción Necronomicon en los cuentos de HP Lovecraft , un libro conocido por muchos, pero leído sólo por unos pocos. ^[41] Los autores hablan en la edición ampliada sobre las críticas al libro que comenzaron en la década de 1980, con una nueva ola de investigación simbolizada por el libro del PPD .

Cómo los perceptrones fueron explorados primero por un grupo de científicos para impulsar la investigación en IA en una dirección, y luego por un nuevo grupo en otra dirección, ha sido objeto de un estudio sociológico del desarrollo científico. ^[3]

Notas

1. Rosenblatt, Frank (enero de 1957). El perceptrón: un autómata que percibe y reconoce (Proyecto PARA) (PDF) (Reporte). Cornell Aeronautical Laboratory, Inc. Informe nº 85–460–1 . Consultado el 29 de diciembre de 2019 .Memorializado en Joe Pater, Brain Wars: ¿Cómo funciona la mente? ¿Y por qué es eso tan importante?, UmassAmherst.
2. Crevier 1993
3. Olazarán 1996.
4. Mitchell, Melanie (octubre de 2019). Inteligencia artificial: una guía para pensar como humanos. Farrar, Straus y Giroux. ISBN 978-0-374-25783-5.
5. Minsky-Papert 1972:74 muestra las figuras en blanco y negro. La portada de la edición de bolsillo de 1972 los tiene impresos en color púrpura sobre un fondo rojo, y esto hace que la conectividad sea aún más difícil de discernir sin el uso de un dedo u otros medios para seguir los patrones mecánicamente. Este problema se analiza en detalle en las páginas 136 y siguientes y, de hecho, implica trazar el límite.
6. Caza, conde (1971). "Revisión de perceptrones". La Revista Estadounidense de Psicología . 84 (3): 445–447. doi :10.2307/1420478. ISSN  0002-9556. JSTOR  1420478.
7. Bloque, HD (diciembre de 1970). "Una revisión de los" perceptrones: una introducción a la geometría computacional ≓ ". Información y control . 17 (5): 501–522. doi :10.1016/S0019-9958(70)90409-2.
8. Newell, Allen (22 de agosto de 1969). "Un paso hacia la comprensión de los procesos de información: perceptrones. Introducción a la geometría computacional. Marvin Minsky y Seymour Papert. MIT Press, Cambridge, Mass., 1969. vi + 258 págs., ilustración. Tela, $12; papel, $4,95" . Ciencia . 165 (3895): 780–782. doi : 10.1126/ciencia.165.3895.780. ISSN  0036-8075.
9. Mycielski, Jan (enero de 1972). "Revisión: Marvin Minsky y Seymour Papert, Perceptrones, una introducción a la geometría computacional". Boletín de la Sociedad Matemática Estadounidense . 78 (1): 12-15. doi : 10.1090/S0002-9904-1972-12831-3 . ISSN  0002-9904.
10. Grossberg, Stephen. "La edición ampliada de Perceptrons (MIT Press, Cambridge, Mass, 1988, 292 pp, $12,50) de Marvin L. Minsky y Seymour A. Papert llega." Revista AI 10.2 (1989).
11. Rosenblatt, Frank (1958). "El perceptrón: un modelo probabilístico para el almacenamiento y organización de información en el cerebro". Revisión psicológica . 65 (6): 386–408. CiteSeerX 10.1.1.588.3775 . doi :10.1037/h0042519. PMID  13602029. S2CID  12781225. 
12. Olazarán 1996, p. 618
13. Haugeland, John (1985). Inteligencia artificial: la idea misma . Cambridge, Masa: MIT Press. ISBN 978-0-262-08153-5.
14. Hwang, Tim (2018). "Poder computacional y el impacto social de la inteligencia artificial". arXiv : 1803.08971v1 [cs.AI].
15. Bloque abc, HD (1970). "Una revisión de los perceptrones: una introducción a la geometría computacional'". Información y Control . 17 (1): 501–522. doi : 10.1016/S0019-9958(70)90409-2 .
16. Minsky, Marvin; Papert, Seymour (1988). Perceptrones: una introducción a la geometría computacional . Prensa del MIT.
17. Olazarán 1996, pag. 630
18. Teorema 1 en Rosenblatt, F. (1961) Principios de neurodinámica: perceptrones y teoría de los mecanismos cerebrales, Spartan. Washington DC.
19. McCulloch, Warren S.; Pitts, Walter (1 de diciembre de 1943). "Un cálculo lógico de las ideas inmanentes a la actividad nerviosa". El Boletín de Biofísica Matemática . 5 (4): 115-133. doi :10.1007/BF02478259. ISSN  1522-9602.
20. Hawkins, J. (enero de 1961). "Sistemas autoorganizados: revisión y comentario". Actas del IRE . 49 (1): 31–48. doi :10.1109/JRPROC.1961.287776. ISSN  0096-8390. S2CID  51640615.
21. Cfr. Minsky-Papert (1972:232): "... una computadora universal podría construirse enteramente a partir de módulos de umbral lineal. Esto no reduce en ningún sentido la teoría de la computación y la programación a la teoría de los perceptrones".
22. Hu, Sze-Tsen. Lógica de umbral . vol. 32. Prensa de la Universidad de California, 1965.
23. Muroga, Saburo (1971). Lógica de umbrales y sus aplicaciones . Nueva York: Wiley-Interscience. ISBN 978-0-471-62530-8.
24. Knuth, Donald Ervin (2011). El arte de la programación informática, Volumen 4A . Río Upper Saddle: Addison-Wesley. págs. 75–79. ISBN 978-0-201-03804-0.
25. Dertouzos, Michael L. "Lógica de umbral: un enfoque de síntesis". (1965).
26. Minnick, Robert C. (marzo de 1961). "Lógica de entrada lineal". Transacciones IEEE en computadoras electrónicas . CE-10 (1): 6-16. doi :10.1109/TEC.1961.5219146. ISSN  0367-7508.
27. Ver referencias en Portada, Thomas M. "Problemas de capacidad para máquinas lineales". Reconocimiento de patrones (1968): 283-289.
28. Šíma, Jiří; Orponen, Pekka (1 de diciembre de 2003). "Computación de propósito general con redes neuronales: un estudio de los resultados teóricos de la complejidad". Computación neuronal . 15 (12): 2727–2778. doi :10.1162/089976603322518731. ISSN  0899-7667. PMID  14629867. S2CID  264603251.
29. Pollack, JB (1989). "Sin intención de hacer daño: una revisión de la edición ampliada de los perceptrones". Revista de Psicología Matemática . 33 (3): 358–365. doi :10.1016/0022-2496(89)90015-1.
30. Del nombre del investigador italiano de redes neuronales Augusto Gamba (1923-1996), diseñador del perceptrón PAPA. PAPA es el acrónimo de "Programmatore e Analizzatore Probabilistico Automatico" ("Programador y Analizador Probabilístico Automático").
31. Borsellino, A.; Gamba, A. (1 de septiembre de 1961). "Un esbozo de una teoría matemática de PAPA". El nuevo cemento (1955-1965) . 20 (2): 221–231. doi :10.1007/BF02822644. ISSN  1827-6121.
32. Gamba, A.; Gamberini, L.; Palmieri, G.; Sanna, R. (1 de septiembre de 1961). "Más experimentos con PAPA". El nuevo cemento (1955-1965) . 20 (2): 112-115. doi :10.1007/BF02822639. ISSN  1827-6121.
33. Gamba, A. (1 de octubre de 1962). "Un PAPA multinivel". El nuevo cemento (1955-1965) . 26 (1): 176–177. doi :10.1007/BF02782996. ISSN  1827-6121.
34. Dor, Dorit; Zwick, Uri (1 de octubre de 1999). "SOKOBAN y otros problemas de planificación del movimiento". Geometría Computacional . 13 (4): 215–228. doi :10.1016/S0925-7721(99)00017-6. ISSN  0925-7721.
35. Arbib, Michael (noviembre de 1969). "Revisión de 'Perceptrones: una introducción a la geometría computacional'". Transacciones IEEE sobre teoría de la información . 15 (6): 738–739. doi :10.1109/TIT.1969.1054388.
36. Newell, Allen (1969). "Un paso hacia la comprensión de los procesos de información". Ciencia . 165 (3895): 780–782. doi : 10.1126/ciencia.165.3895.780. JSTOR  1727364.
37. Alom, doctor Zahangir; et al. (2018). "La historia comenzó con AlexNet: una encuesta completa sobre enfoques de aprendizaje profundo". arXiv : 1803.01164v1 [cs.CV]. 1969: Minsky y Papert muestran las limitaciones del perceptrón, acabando con la investigación en redes neuronales durante una década.
38. Bechtel, William (1993). "El caso del conexionismo". Estudios Filosóficos . 71 (2): 119-154. doi :10.1007/BF00989853. JSTOR  4320426. S2CID  170812977.
39. "La controversia del perceptrón".
40. "Autor del MIT AI Memo 338" (PDF) .
41. "Historia: el pasado". Ucs.louisiana.edu . Consultado el 10 de julio de 2013 .

Referencias

• McCorduck, Pamela (2004), Máquinas que piensan (2ª ed.), Natick, MA: AK Peters, Ltd., ISBN 1-56881-205-1, págs. 104-107
• Crevier, Daniel (1993). IA: la tumultuosa búsqueda de la inteligencia artificial . Nueva York, Nueva York: BasicBooks. ISBN 0-465-02997-3., págs. 102-105
• Russell, Stuart J .; Norvig, Peter (2003), Inteligencia artificial: un enfoque moderno (2ª ed.), Upper Saddle River, Nueva Jersey: Prentice Hall, ISBN 0-13-790395-2pag. 22
• Marvin Minsky y Seymour Papert, 1972 (segunda edición con correcciones, primera edición 1969) Perceptrones: una introducción a la geometría computacional , The MIT Press, Cambridge MA, ISBN 0-262-63022-2 . 
• Olazarán, Mikel (1996). "Un estudio sociológico de la historia oficial de la controversia de los perceptrones". Estudios Sociales de la Ciencia . 26 (3): 611–659. doi :10.1177/030631296026003005. JSTOR  285702. S2CID  16786738.
• Olazaran, Mikel (1 de enero de 1993), Yovits, Marshall C. (ed.), Una historia sociológica de la controversia sobre las redes neuronales, Avances en las computadoras, vol. 37, Elsevier, págs. 335–425, doi :10.1016/S0065-2458(08)60408-8, ISBN 9780120121373, recuperado el 31 de octubre de 2023