Computación basada en humanos

Técnica informática

La computación basada en humanos ( HBC ), computación asistida por humanos , ^[1] computación humana ubicua o pensamiento distribuido (por analogía a la computación distribuida ) es una técnica de la ciencia informática en la que una máquina realiza su función subcontratando ciertos pasos a humanos, generalmente como microtrabajo . Este enfoque utiliza diferencias en las habilidades y los costos alternativos entre los humanos y los agentes informáticos para lograr una interacción simbiótica entre humanos y computadoras. Para tareas computacionalmente difíciles, como el reconocimiento de imágenes, la computación basada en humanos juega un papel central en el entrenamiento de sistemas de inteligencia artificial basados ​​en aprendizaje profundo . En este caso, la computación basada en humanos se ha denominado inteligencia artificial asistida por humanos . ^[2]

En la computación tradicional, un ser humano utiliza una computadora ^[3] para resolver un problema; un ser humano proporciona una descripción formalizada del problema y un algoritmo a una computadora, y recibe una solución para interpretar. ^[4] La computación basada en humanos con frecuencia invierte los roles; la computadora le pide a una persona o a un grupo grande de personas que resuelvan un problema, ^[5] luego recopila, interpreta e integra sus soluciones. Esto convierte las redes híbridas de humanos y computadoras en "redes de computación distribuida a gran escala". ^{[6] [7] [8]} donde el código se ejecuta parcialmente en cerebros humanos y en procesadores basados ​​en silicio.

Trabajos tempranos

La investigación en computación basada en humanos (aparte del significado histórico de "computadora ") tiene sus orígenes en los primeros trabajos sobre computación evolutiva interactiva (CE). ^[9] La idea detrás de los algoritmos evolutivos interactivos se ha atribuido a Richard Dawkins ; en el software Biomorphs que acompaña a su libro The Blind Watchmaker (Dawkins, 1986) ^[10] se utiliza la preferencia de un experimentador humano para guiar la evolución de conjuntos bidimensionales de segmentos de línea. En esencia, este programa le pide a un humano que sea la función de aptitud de un algoritmo evolutivo, de modo que el algoritmo pueda usar la percepción visual humana y el juicio estético para hacer algo que un algoritmo evolutivo normal no puede hacer. Sin embargo, es difícil obtener suficientes evaluaciones de un solo humano si queremos desarrollar formas más complejas. Victor Johnston ^[11] y Karl Sims ^[12] ampliaron este concepto al aprovechar el poder de muchas personas para la evaluación de la aptitud (Caldwell y Johnston, 1991; Sims, 1991). Como resultado, sus programas podían desarrollar rostros hermosos y obras de arte atractivas para el público. Estos programas invirtieron de manera efectiva la interacción común entre computadoras y humanos. En estos programas, la computadora ya no es un agente de su usuario, sino un coordinador que agrega esfuerzos de muchos evaluadores humanos. Estos y otros esfuerzos de investigación similares se convirtieron en el tema de investigación en selección estética o computación evolutiva interactiva (Takagi, 2001), sin embargo, el alcance de esta investigación se limitó a la evaluación de la externalización y, como resultado, no estaba explorando por completo el potencial total de la externalización.

Un concepto de la prueba de Turing automática, iniciada por Moni Naor (1996) ^[13], es otro precursor de la computación basada en humanos. En la prueba de Naor, la máquina puede controlar el acceso de humanos y computadoras a un servicio desafiándolos con un problema de procesamiento de lenguaje natural (PLN) o visión artificial (CV) para identificar humanos entre ellos. El conjunto de problemas se elige de manera que no tengan una solución algorítmica que sea efectiva y eficiente en ese momento. Si existiera, un algoritmo de este tipo podría ser realizado fácilmente por una computadora, derrotando así la prueba. De hecho, Moni Naor fue modesto al llamar a esto una prueba de Turing automatizada. El juego de imitación descrito por Alan Turing (1950) no proponía el uso de problemas de CV. Solo proponía una tarea específica de PNL, mientras que la prueba de Naor identifica y explora una gran clase de problemas, no necesariamente del dominio del PNL, que podrían usarse para el mismo propósito tanto en versiones automatizadas como no automatizadas de la prueba.

Por último, el algoritmo genético basado en humanos (HBGA) ^[14] fomenta la participación humana en múltiples roles diferentes. Los humanos no están limitados al rol de evaluador o algún otro rol predefinido, sino que pueden elegir realizar un conjunto más diverso de tareas. En particular, pueden contribuir con sus soluciones innovadoras al proceso evolutivo, realizar cambios incrementales en soluciones existentes y realizar una recombinación inteligente. ^[15] En resumen, el HBGA permite a los humanos participar en todas las operaciones de un algoritmo genético típico . Como resultado de esto, el HBGA puede procesar soluciones para las que no hay operadores de innovación computacional disponibles, por ejemplo, lenguajes naturales. Por lo tanto, el HBGA eliminó la necesidad de un esquema de representación fijo que era un factor limitante tanto del EC estándar como del interactivo. ^[16] Estos algoritmos también pueden verse como nuevas formas de organización social coordinadas por una computadora, según Alex Kosorukoff y David Goldberg. ^[17]

Clases de computación basada en humanos

Los métodos de computación basados ​​en el ser humano combinan computadoras y seres humanos en diferentes roles. Kosorukoff (2000) propuso una forma de describir la división del trabajo en computación, que agrupa los métodos basados ​​en el ser humano en tres clases. La siguiente tabla utiliza el modelo de computación evolutiva para describir cuatro clases de computación, tres de las cuales dependen de los seres humanos en algún rol. Para cada clase, se muestra un ejemplo representativo. La clasificación se realiza en términos de los roles (innovación o selección) desempeñados en cada caso por humanos y procesos computacionales. Esta tabla es una porción de una tabla tridimensional. La tercera dimensión define si la función organizacional es realizada por humanos o por una computadora. Aquí se supone que es realizada por una computadora.

Las clases de computación basada en humanos de esta tabla se pueden identificar mediante abreviaturas de dos letras: HC, CH, HH. Aquí, la primera letra identifica el tipo de agente que realiza la innovación, la segunda letra especifica el tipo de agente de selección. En algunas implementaciones ( wiki es el ejemplo más común), la funcionalidad de selección basada en humanos puede ser limitada, se puede indicar con h minúscula.

Métodos de computación basados ​​en humanos

• (HC) Darwin (Vyssotsky, Morris, McIlroy, 1961) y Core War (Jones, Dewdney 1984) Son juegos en los que varios programas escritos por personas compiten en un torneo (simulación computacional) en el que los programas más aptos sobrevivirán. Los autores de los programas copian, modifican y recombinan las estrategias exitosas para mejorar sus posibilidades de ganar.
• (CH) IEC interactivo (Dawkins, 1986; Caldwell y Johnston, 1991; Sims, 1991) IEC permite al usuario crear un dibujo abstracto seleccionando únicamente sus imágenes favoritas, de modo que el ser humano solo realiza el cálculo de aptitud y el software realiza el papel innovador. [Unemi 1998] El estilo de crianza simulada no introduce aptitud explícita, solo selección, lo que es más fácil para los humanos. ^[18]
• (HH ₂ ) Wiki ( Cunningham , 1995) permitió la edición del contenido web por parte de múltiples usuarios, es decir, admitió dos tipos de innovación basada en humanos (contribuir con una nueva página y sus ediciones incrementales). Sin embargo, el mecanismo de selección estuvo ausente hasta 2002, cuando se amplió el wiki con un historial de revisiones que permitía revertir los cambios inútiles. Esto proporcionó medios para la selección entre varias versiones de la misma página y convirtió al wiki en una herramienta que respaldaba la evolución colaborativa de contenido (se clasificaría como una estrategia de evolución basada en humanos en términos de EC).
• (HH ₃ ) El algoritmo genético basado en humanos (Kosorukoff, 1998) utiliza tanto la selección basada en humanos como tres tipos de innovación basada en humanos (aportación de nuevo contenido, mutación y recombinación). Por lo tanto, todos los operadores de un algoritmo genético típico se subcontratan a humanos (de ahí el origen del algoritmo basado en humanos ). Esta idea se amplió a la integración de multitudes con algoritmos genéticos para estudiar la creatividad en 2011. ^[19]
• (HH ₁ ) Las aplicaciones de búsqueda social aceptan contribuciones de los usuarios e intentan utilizar la evaluación humana para seleccionar las contribuciones más adecuadas que llegan a la parte superior de la lista. Estas utilizan un tipo de innovación basada en el ser humano. El trabajo inicial se realizó en el contexto de HBGA. Digg y Reddit son ejemplos populares recientemente. Consulte también Filtrado colaborativo .
• (HC) Pruebas computarizadas. Una computadora genera un problema y lo presenta para evaluar a un usuario. Por ejemplo, CAPTCHA distingue a los usuarios humanos de los programas de computadora al presentar un problema que supuestamente es fácil para un humano y difícil para una computadora. Si bien los CAPTCHA son medidas de seguridad efectivas para prevenir el abuso automatizado de los servicios en línea, el esfuerzo humano que se dedica a resolverlos se desperdicia de otra manera. El sistema reCAPTCHA utiliza estos ciclos humanos para ayudar a digitalizar libros al presentar palabras de libros antiguos escaneados que el reconocimiento óptico de caracteres no puede descifrar. ^[20]
• (HC) Juegos interactivos en línea: Son programas que extraen conocimiento de las personas de forma entretenida. ^{[21] [22] [23] [24] [25]}
• (HC) "Enjambre humano" o "Enjambre social". La plataforma de la UNU para el enjambre humano establece sistemas de circuito cerrado en tiempo real en torno a grupos de usuarios en red, moldeados a imagen de enjambres biológicos, lo que permite que los participantes humanos se comporten como una inteligencia colectiva unificada . ^{[26] [27] [28] [29] [30] [31]}
• (NHC) La computación humana natural implica aprovechar el comportamiento humano existente para extraer trabajo computacionalmente significativo sin perturbar ese comportamiento. ^[32] La NHC se distingue de otras formas de computación basada en humanos en que, en lugar de implicar la subcontratación del trabajo computacional a la actividad humana al pedirle a los humanos que realicen tareas computacionales novedosas, implica aprovechar la importancia computacional previamente inadvertida en el comportamiento existente.

Incentivos a la participación

En diferentes proyectos de computación basados ​​en humanos, las personas están motivadas por uno o más de los siguientes motivos.

• Recibir una parte justa del resultado
• Compensación monetaria directa (por ejemplo, en Amazon Mechanical Turk , guía de búsqueda de ChaCha , miembros de Mahalo.com Answers)
• Oportunidad de participar en la economía global de la información ^[33]
• Deseo de diversificar su actividad (por ejemplo, "a la gente no se le pide en su vida diaria que sea creativa" ^[34] )
• Satisfacción estética
• Curiosidad, ganas de probar si funciona.
• Voluntariado, deseo de apoyar una causa del proyecto.
• Reciprocidad, intercambio, ayuda mutua
• Deseo de entretenerse con el espíritu competitivo o cooperativo de un juego.
• Deseo de comunicar y compartir conocimientos.
• Deseo compartir una innovación de usuario para ver si alguien más puede mejorarla.
• Deseo de jugar con el sistema e influir en el resultado final
• Disfrute
• Aumentar la reputación/reconocimiento en línea

Muchos proyectos han explorado diversas combinaciones de estos incentivos. Véase más información sobre la motivación de los participantes en estos proyectos en Kosorukoff, ^[35] y Von Hippel. ^{[36] [37]}

La computación basada en el ser humano como forma de organización social

Considerada como una forma de organización social, la computación basada en el ser humano a menudo resulta sorprendentemente más robusta y productiva que las organizaciones tradicionales. ^[38] Estas últimas dependen de obligaciones para mantener su estructura más o menos fija, ser funcionales y estables. Cada una de ellas es similar a un mecanismo cuidadosamente diseñado con seres humanos como partes. Sin embargo, esto limita la libertad de sus empleados humanos y los somete a diversos tipos de tensiones. La mayoría de las personas, a diferencia de las partes mecánicas, tienen dificultades para adaptarse a algunos roles fijos que se ajustan mejor a la organización. Los proyectos de computación humana evolutiva ofrecen una solución natural a este problema. Adaptan la estructura organizacional a la espontaneidad humana, dan cabida a los errores y la creatividad humanos y utilizan ambos de una manera constructiva. Esto deja a sus participantes libres de obligaciones sin poner en peligro la funcionalidad del conjunto, lo que hace que las personas sean más felices. Todavía hay algunos problemas de investigación desafiantes que deben resolverse antes de que podamos aprovechar todo el potencial de esta idea.

Las técnicas de externalización algorítmica utilizadas en la computación basada en humanos son mucho más escalables que las técnicas manuales o automatizadas utilizadas para gestionar la externalización tradicionalmente. Es esta escalabilidad la que permite distribuir fácilmente el esfuerzo entre miles (o más) de participantes. Recientemente se ha sugerido que esta externalización masiva es lo suficientemente diferente de la externalización tradicional a pequeña escala como para merecer un nuevo nombre: crowdsourcing . ^[39] Sin embargo, otros han argumentado que el crowdsourcing debería distinguirse de la verdadera computación basada en humanos. ^[40] El crowdsourcing implica de hecho la distribución de tareas de computación entre varios agentes humanos, pero Michelucci sostiene que esto no es suficiente para que se considere computación humana. La computación humana requiere no solo que una tarea se distribuya entre diferentes agentes, sino también que el conjunto de agentes entre los que se distribuye la tarea sea mixto: algunos de ellos deben ser humanos, pero otros deben ser computadoras tradicionales. Es esta mezcla de diferentes tipos de agentes en un sistema computacional lo que le da a la computación basada en humanos su carácter distintivo. Algunos ejemplos de crowdsourcing efectivamente cumplen este criterio, pero no todos.

La computación humana organiza a los trabajadores a través de un mercado de tareas con API, precios de tareas y protocolos de software como servicio que permiten a los empleadores/solicitantes recibir datos producidos por los trabajadores directamente en los sistemas de TI. Como resultado, muchos empleadores intentan gestionar a los trabajadores automáticamente a través de algoritmos en lugar de responder a los trabajadores caso por caso o abordar sus inquietudes. La respuesta a los trabajadores es difícil de escalar a los niveles de empleo que permiten las plataformas de microtrabajo de computación humana. ^[41] Los trabajadores del sistema Mechanical Turk, por ejemplo, han informado que los empleadores de computación humana pueden no responder a sus inquietudes y necesidades ^[42].

Aplicaciones

La asistencia humana puede ser útil para resolver cualquier problema que requiera inteligencia artificial , que por definición es una tarea que no es factible para las computadoras, pero sí para los humanos. Algunas de sus aplicaciones prácticas son:

• Búsqueda en Internet , mejora de la clasificación de resultados mediante la combinación de la clasificación automatizada con la entrada editorial humana. ^{[43] [44]}
• Correctores distribuidos
• Análisis de imágenes astronómicas:
  • Zoológico de galaxias
  • Polvo de estrellas en casa
• Plataformas generales de computación científica:
  • Zooniverse (proyecto de ciencia ciudadana)
  • Berkeley Open System for Skill Aggregation , por analogía con el proyecto de computación distribuida Berkeley Open Infrastructure for Network Computing

Crítica

La computación basada en humanos ha sido criticada por ser explotadora y engañosa y tener el potencial de socavar la acción colectiva. ^{[45] [46]}

En filosofía social se ha argumentado que la computación basada en humanos es una forma implícita de trabajo en línea. ^[47] El filósofo Rainer Mühlhoff distingue cinco tipos diferentes de "captura maquínica" de microtrabajo humano en "redes híbridas humano-computadora": (1) gamificación, (2) "atrapar y rastrear" (por ejemplo, CAPTCHAs o seguimiento de clics en la búsqueda de Google), (3) explotación social (por ejemplo, etiquetar caras en Facebook), (4) minería de información y (5) trabajo de clics (como en Amazon Mechanical Turk ). ^{[48] [49]} Mühlhoff argumenta que la computación basada en humanos a menudo alimenta sistemas de inteligencia artificial basados ​​en aprendizaje profundo , un fenómeno que analiza como "inteligencia artificial asistida por humanos".

Véase también

• Ciencia ciudadana
• Inteligencia colaborativa
• Redes de innovación colaborativa
• Intérprete humano colaborativo
• Colaboración colectiva
• Juego con un propósito (o GWAP)
• Cerebro global
• Computadora humana
• Recuperación de información entre humanos y computadoras
• Software social
• Computación social
• Organización social
• Inteligencia simbiótica

Referencias

1. Shahaf, Dafna; Amir, Eyal (28 de marzo de 2007). "Hacia una teoría de la integridad de la IA" (PDF) . Consultado el 12 de mayo de 2022 .
2. Mühlhoff, Rainer (6 de noviembre de 2019). "Inteligencia artificial asistida por humanos: o, ¿cómo ejecutar grandes cálculos en cerebros humanos? Hacia una sociología de los medios de comunicación del aprendizaje automático". New Media & Society . 22 (10): 1868–1884. doi : 10.1177/1461444819885334 . ISSN  1461-4448. S2CID  209363848.
3. El término "computadora" se utiliza en el sentido moderno de "computadora", no en el de " computadora humana".
4. Turing, Alan M. (1950). «Computer Machinery and Intelligence» (PDF) . Consultado el 12 de mayo de 2022 .
5. Fogarty, Terence C. (20 de agosto de 2003). "Evolución automática de conceptos". Segunda Conferencia Internacional IEEE sobre Informática Cognitiva, 2003. Actas . pág. 89. doi :10.1109/COGINF.2003.1225961. ISBN . 0-7695-1986-5. S2CID  30299981 . Consultado el 21 de junio de 2021 .
6. von Ahn, Luis (22 de agosto de 2012), Human Computation, vol. Google Tech Talk 26 de julio de 2006, archivado desde el original el 19 de diciembre de 2021 , consultado el 22 de noviembre de 2019. Citado después de Mühlhoff, Rainer (2019). "Inteligencia artificial asistida por humanos: o, ¿cómo ejecutar grandes cálculos en cerebros humanos? Hacia una sociología mediática del aprendizaje automático". New Media & Society: 146144481988533. doi:10.1177/1461444819885334. ISSN 1461-4448.
7. Gentry, Craig; Ramzan, Zulfikar; Stubblebine, Stuart. "Computación humana distribuida segura" (PDF) . Consultado el 12 de mayo de 2022 .
8. Gentry, Craig; Ramzan, Zulfikar; Stubblebine, Stuart (2005). "Computación humana distribuida segura". Computación humana distribuida segura . Apuntes de clase en informática. Vol. 3570. págs. 328–332. doi :10.1007/11507840_28. ISBN 978-3-540-26656-3. Recuperado el 12 de mayo de 2022 .
9. Herdy, Michael (1996). Estrategias evolutivas con selección subjetiva. Conceptos básicos de computación evolutiva. Volumen 1141, págs. 22-31. págs. 22-31. doi :10.1007/3-540-61723-X_966. ISBN 9783540706687. Recuperado el 12 de mayo de 2022 .
10. Dawkins, Richard. "El relojero ciego" . Consultado el 12 de mayo de 2022 .
11. Johnston, Victor. «Método y aparato para generar composiciones de rostros humanos». Archivado desde el original el 14 de octubre de 2013. Consultado el 12 de mayo de 2022 . Patente estadounidense 5.375.195
12. Sims, Karl P. «Sistema informático y método para generar y mutar objetos mediante evolución iterativa». Archivado desde el original el 14 de octubre de 2013. Consultado el 12 de mayo de 2022 . Patente estadounidense 6.088.510
13. Naor, Moni. "Verificación de un ser humano en el circuito o identificación mediante el test de Turing" . Consultado el 12 de mayo de 2021 .
14. Kosorukoff, A. (2001). "Algoritmo genético basado en humanos". Algoritmo genético basado en humanos . Vol. 5. págs. 3464–3469. doi :10.1109/ICSMC.2001.972056. ISBN 0-7803-7087-2. S2CID  13839604 . Consultado el 12 de mayo de 2022 .
15. Fogarty, Terence C.; Hammond, Michelle O. "Literatura generativa cooperativa OuLiPian (Ouvroir de littérature potentielle) utilizando computación evolutiva basada en humanos" (PDF) . Consultado el 12 de mayo de 2022 .
16. Takagi, Hideyuki (septiembre de 2001). «Computación evolutiva interactiva: fusión de las capacidades de optimización de EC y evaluación humana, págs. 1275-1296». Actas del IEEE . 89 (9): 1275–1296. doi :10.1109/5.949485. hdl : 2324/1670053 . S2CID  :16929436 . Consultado el 12 de mayo de 2022 .
17. "La computación evolutiva como forma de organización, pp. 965-972" (PDF) . Archivado desde el original (PDF) el 7 de julio de 2011. Consultado el 12 de mayo de 2022 .
18. Unemi, Tastsuo (1998). "Un diseño de interfaz de usuario de múltiples campos para la cría simulada", págs. 489-494. Actas de la Conferencia del Instituto Coreano de Sistemas Inteligentes : 489–494 . Consultado el 12 de mayo de 2022 .
19. Yu, Lixiu; Nickerson, Jeffrey V. (7 de mayo de 2011). ¿Cocineros o zapateros?: Creatividad colectiva a través de la combinación. pp. 1393–1402. doi :10.1145/1978942.1979147. ISBN 9781450302289. S2CID  11287874 . Consultado el 12 de mayo de 2022 .
20. von Ahn, Luis; Maurer, Benjamin; McMillen, Colin; Abraham, David; Blum, Manuel (12 de septiembre de 2008). «reCAPTCHA: reconocimiento de caracteres basado en humanos mediante medidas de seguridad web» (PDF) . Consultado el 12 de mayo de 2022 .
21. Burgener, Robin. "20Q . net. Twenty Questions. La red neuronal en Internet. Jugar a Twenty Questions". Archivado desde el original el 29 de febrero de 2000. Consultado el 12 de mayo de 2022 .
22. von Ahn, Luis; Dabbish, Laura. "Etiquetado de imágenes con un juego de ordenador" (PDF) . Consultado el 12 de mayo de 2022 .
23. von Ahn, Luis; Kedia, Mihir; Blum, Manuel. "Verbosidad: un juego para recopilar datos de sentido común" (PDF) . Consultado el 12 de mayo de 2022 .
24. von Ahn, Luis; Ginosar, Shiri; Kedia, Mihir; Liu, Ruoran; Blum, Manuel. "Mejorar la accesibilidad de la Web con un juego de computadora" (PDF) . Consultado el 12 de mayo de 2022 .
25. von Ahn, Luis (19 de julio de 2011). «Método para etiquetar imágenes mediante un juego de ordenador» . Consultado el 12 de mayo de 2022 .^{[ enlace muerto permanente ]} Patente estadounidense 7.980.953
26. Rosenberg, Louis B. "Enjambres humanos: un paradigma en tiempo real para la inteligencia colectiva" (PDF) . Facultad de LSA de la Universidad de Michigan . Consultado el 12 de mayo de 2021 .
27. "Enjambres: un paradigma en tiempo real para la inteligencia colectiva". Archivado desde el original el 27 de octubre de 2015. Consultado el 12 de mayo de 2022 .
28. Sunstein, Cass R. (16 de agosto de 2006). «Infotopia: How Many Minds Produce Knowledge» (Infotopía: cuántas mentes producen conocimiento). SSRN  924249. Consultado el 12 de mayo de 2022 .
29. Malone, Thomas W.; Laubacher, Robert; Dellarocas, Chrysanthos (3 de febrero de 2009). "Aprovechando a las multitudes: mapeando el genoma de la inteligencia colectiva". doi :10.2139/ssrn.1381502. hdl : 1721.1/66259 . S2CID  :110848079 . SSRN:  1381502 . Consultado el 12 de mayo de 2022 . {{cite journal}}: Requiere citar revista |journal=( ayuda )
30. "Enjambres humanos, un método en tiempo real para la inteligencia colectiva". Archivado desde el original el 27 de octubre de 2015 . Consultado el 12 de octubre de 2015 .
31. "Enjambres de humanos impulsan la plataforma de inteligencia artificial: Discovery News". Archivado desde el original el 21 de junio de 2015. Consultado el 21 de junio de 2015 .
32. Estrada, Daniel y Jonathan Lawhead, "Jugando con la economía de la atención" en The Springer Handbook of Human Computation, Pietro Michelucci (ed.), (Springer, 2014)
33. Schriner, Andrew; Oerther, Daniel (2014). "En serio, el trabajo colectivo es la solución milagrosa". Procedia Engineering . 78 (2014): 224–228. doi : 10.1016/j.proeng.2014.07.060 .
34. (Preguntas y respuestas) Tu tarea: Arte
35. Kosorukoff, Alexander. «Estructuras de clasificación social. Toma de decisiones óptima en una organización» (PDF) . Archivado desde el original (PDF) el 7 de julio de 2011. Consultado el 12 de mayo de 2022 .
36. Von Hippel, Eric. "Democratizar la innovación" . Consultado el 12 de mayo de 2022 .
37. von Hippel, Eric (2005). Democratizar la innovación. Colecciones de libros sobre el Proyecto MUSE. MIT Press . ISBN 978-0-262-00274-5. Recuperado el 17 de junio de 2024 .
38. Kosorukoff, Alexander; Goldberg, David (2002). «La computación evolutiva como forma de organización» (PDF) . Archivado desde el original (PDF) el 7 de julio de 2011. Consultado el 12 de mayo de 2022 .
39. Howe, Jeff (junio de 2006). "El auge del crowdsourcing". Wired . Consultado el 12 de mayo de 2022 .
40. Michelucci, Pietro. Manual de computación humana . Consultado el 12 de mayo de 2022 .
41. Irani, Lilly (2015). "El trabajo cultural del microtrabajo". Nuevos medios y sociedad . 17 (5): 720–739. doi :10.1177/1461444813511926. S2CID  377594.
42. Irani, Lilly; Silberman, Six (2013). "Turkopticon". Actas de la Conferencia SIGCHI sobre factores humanos en sistemas informáticos. Chi '13. págs. 611–620. doi :10.1145/2470654.2470742. ISBN 9781450318990. Número de identificación del sujeto  207203679.
43. US 7599911, Manber, Udi y Chang, Chi-Chao, "Método y aparato para la clasificación de búsquedas utilizando información humana y clasificación automatizada", publicado el 6 de octubre de 2009, asignado a Yahoo! Inc. 
44. "Método y aparato para la clasificación de búsquedas mediante la entrada humana y la clasificación automatizada" . Consultado el 12 de mayo de 2022 .
45. Zittrain, Jonathan (20 de julio de 2019). «Minds for Sale» (Mentes en venta) . Consultado el 12 de mayo de 2022 .
46. Jafarinaimi, Nassim (7 de febrero de 2012). Explorando el carácter de la participación en las redes sociales: el caso de Google Image Labeler. pp. 72–79. doi :10.1145/2132176.2132186. ISBN 9781450307826. S2CID  7094199 . Consultado el 12 de mayo de 2022 .
47. Mühlhoff, Rainer (2020). «Inteligencia artificial asistida por humanos: o, ¿cómo ejecutar grandes cálculos en cerebros humanos? Hacia una sociología mediática del aprendizaje automático». New Media & Society . 22 (10): 1868–1884. doi : 10.1177/1461444819885334 . S2CID  209363848.
48. Mühlhoff, Rainer (6 de noviembre de 2019). "Inteligencia artificial asistida por humanos: o, ¿cómo ejecutar grandes cálculos en cerebros humanos? Hacia una sociología de los medios de comunicación del aprendizaje automático". New Media & Society . 22 (10): 1868–1884. doi : 10.1177/1461444819885334 . ISSN  1461-4448. S2CID  209363848.
49. Mühlhoff, Rainer. "Inteligencia artificial asistida por humanos: ¿o cómo ejecutar grandes cálculos en cerebros humanos? Hacia una sociología de los medios del aprendizaje automático" (PDF) . Consultado el 12 de mayo de 2022 .