stringtranslate.com

Turco mecánico de Amazon

Amazon Mechanical Turk ( MTurk ) es un sitio web de crowdsourcing con el que las empresas pueden contratar "crowdworkers" ubicados de forma remota para realizar tareas discretas a pedido que las computadoras actualmente no pueden hacer de manera económica. Funciona bajo Amazon Web Services y es propiedad de Amazon . [1] Los empleadores, conocidos como solicitantes, publican trabajos conocidos como tareas de inteligencia humana (HIT), como identificar contenido específico en una imagen o video, escribir descripciones de productos o responder preguntas de encuestas. Los trabajadores, conocidos coloquialmente como Turkers o crowdworkers , navegan entre los trabajos existentes y los completan a cambio de una tarifa establecida por el solicitante. Para publicar trabajos, los solicitantes utilizan una interfaz de programación de aplicaciones (API) abierta o el sitio MTurk Requester más limitado. [2] A partir de abril de 2019 , los solicitantes podían registrarse desde 49 países aprobados. [3]

Historia

El servicio fue concebido por Venky Harinarayan en una patente estadounidense divulgada en 2001. [4] Amazon acuñó el término inteligencia artificial para los procesos que externalizan algunas partes de un programa informático a los seres humanos, para aquellas tareas que los seres humanos llevan a cabo mucho más rápido que las computadoras. Se afirma [¿ por quién? ] que Jeff Bezos fue responsable de proponer el desarrollo de Mechanical Turk de Amazon para realizar este proceso. [5]

El nombre Mechanical Turk se inspiró en " El Turco ", un autómata que jugaba al ajedrez en el siglo XVIII, fabricado por Wolfgang von Kempelen , que viajó por Europa y derrotó a Napoleón Bonaparte y Benjamin Franklin . Más tarde se reveló que esta "máquina" no era un autómata, sino un maestro de ajedrez humano escondido en el gabinete debajo del tablero y que controlaba los movimientos de un muñeco humanoide. De manera análoga, el servicio en línea Mechanical Turk utiliza mano de obra humana remota escondida detrás de una interfaz de computadora para ayudar a los empleadores a realizar tareas que no son posibles utilizando una máquina real.

MTurk se lanzó al público el 2 de noviembre de 2005. Su base de usuarios creció rápidamente. A principios y mediados de noviembre de 2005, había decenas de miles de trabajos, todos ellos subidos al sistema por la propia Amazon para algunas de sus tareas internas que requerían inteligencia humana. Los tipos de HIT se ampliaron para incluir transcripción, calificación, etiquetado de imágenes, encuestas y redacción.

En marzo de 2007, se informó de que había más de 100.000 trabajadores en más de 100 países. [6] Esta cifra aumentó a más de 500.000 trabajadores registrados de más de 190 países en enero de 2011. [7] Ese año, Techlist publicó un mapa interactivo que señalaba las ubicaciones de 50.000 de sus trabajadores de MTurk en todo el mundo. [8] En 2018, la investigación demostró que, si bien más de 100.000 trabajadores estaban disponibles en la plataforma en cualquier momento, solo alrededor de 2.000 estaban trabajando activamente. [9]

Descripción general

Un usuario de Mechanical Turk puede ser un "Trabajador" (contratista) o un "Solicitante" (empleador). Los trabajadores tienen acceso a un panel que muestra tres secciones: ingresos totales, estado de HIT y totales de HIT. Los trabajadores establecen sus propias horas y no tienen ninguna obligación de aceptar ninguna tarea en particular.

Amazon clasifica a los trabajadores como contratistas en lugar de empleados y no paga impuestos sobre la nómina. Clasificar a los trabajadores como contratistas le permite a Amazon evitar cuestiones como el salario mínimo , las horas extra y la compensación laboral , una práctica común entre las plataformas de la "economía gig". Los trabajadores están obligados por ley a declarar sus ingresos como ingresos por cuenta propia.

En 2013, el salario promedio por las múltiples microtareas asignadas, si se realizaban rápidamente, era de aproximadamente un dólar por hora, y cada tarea costaba en promedio unos pocos centavos. [10] Sin embargo, calcular las ganancias promedio por hora de las personas en un sitio de microtareas es extremadamente difícil y varias fuentes de datos muestran ganancias promedio por hora en el rango de $5 a $9 por hora [11] [12] [13] [14] entre una cantidad sustancial de trabajadores, mientras que los trabajadores más experimentados, activos y competentes pueden ganar más de $20 por hora. [15]

Los trabajadores pueden tener una dirección postal en cualquier parte del mundo. El pago por completar tareas se puede canjear en Amazon.com mediante un certificado de regalo (los certificados de regalo son la única opción de pago disponible para los trabajadores internacionales, aparte de la India) o se pueden transferir a la cuenta bancaria estadounidense de un trabajador.

Los solicitantes pueden pedir a los trabajadores que cumplan con las calificaciones antes de participar en una tarea, y pueden establecer una prueba diseñada para verificar la calificación. También pueden aceptar o rechazar el resultado enviado por el trabajador, lo que afecta la reputación del trabajador. A partir de abril de 2019 , los solicitantes pagaron a Amazon una comisión mínima del 20% sobre el precio de los trabajos completados con éxito, con montos mayores para servicios adicionales [ aclaración necesaria ] . [6] Los solicitantes pueden usar la API de Amazon Mechanical Turk para integrar programáticamente los resultados del trabajo directamente en sus procesos y sistemas comerciales. Cuando los empleadores configuran un trabajo, deben especificar

así como los detalles específicos sobre el trabajo que desean realizar.

Ubicación de Turkers

Los trabajadores han estado ubicados principalmente en los Estados Unidos desde el inicio de la plataforma [16] con una demografía generalmente similar a la población general de Internet en los EE. UU. [17] Dentro de los EE. UU., los trabajadores están distribuidos de manera bastante uniforme entre los estados, proporcional a la participación de cada estado en la población estadounidense. [18] A partir de 2019 , entre 15 y 30 mil personas en los EE. UU. completan al menos un HIT cada mes y aproximadamente 4500 personas nuevas se unen a MTurk cada mes. [19]

Los pagos en efectivo para los trabajadores indios se introdujeron en 2010, lo que actualizó la demografía de los trabajadores, que sin embargo permanecieron principalmente dentro de los Estados Unidos. [20] Un sitio web que muestra la demografía de los trabajadores en mayo de 2015 mostró que el 80% de los trabajadores estaban ubicados en los Estados Unidos, y el 20% restante en otras partes del mundo, la mayoría de los cuales estaban en la India. [21] En mayo de 2019, aproximadamente el 60% estaban en los EE. UU., el 40% en otros lugares (aproximadamente el 30% en la India). [22] A principios de 2023, aproximadamente el 90% de los trabajadores eran de los EE. UU. y aproximadamente la mitad del resto de la India. [23]

Usos

Investigación con sujetos humanos

Desde 2010 , numerosos investigadores han explorado la viabilidad de Mechanical Turk para reclutar sujetos para experimentos de ciencias sociales. Los investigadores han descubierto en general que, si bien las muestras de encuestados obtenidas a través de Mechanical Turk no coinciden perfectamente con todas las características relevantes de la población estadounidense, tampoco son demasiado erróneas. [24] [25] Como resultado, cada año se publican miles de artículos que se basan en datos recopilados de los trabajadores de Mechanical Turk, incluidos cientos en revistas académicas de primer nivel.

Uno de los desafíos que presenta el uso de MTurk para la investigación con sujetos humanos ha sido mantener la calidad de los datos. Un estudio publicado en 2021 descubrió que los tipos de enfoques de control de calidad utilizados por los investigadores (como la verificación de bots, usuarios de VPN o trabajadores dispuestos a enviar respuestas deshonestas) pueden influir significativamente en los resultados de las encuestas. Lo demostraron a través del impacto en tres herramientas comunes de detección de salud mental y conductual. [26] Si bien la gestión de la calidad de los datos requiere trabajo por parte de los investigadores, existe una gran cantidad de investigaciones que muestran cómo recopilar datos de alta calidad de MTurk. [27] El costo de usar MTurk es considerablemente menor que el de muchos otros medios para realizar encuestas, por lo que muchos investigadores continúan usándolo.

El consenso general entre los investigadores es que el servicio funciona mejor para reclutar una muestra diversa; es menos exitoso con estudios que requieren poblaciones definidas con mayor precisión o que requieren una muestra representativa de la población en su conjunto. [28] Se han publicado muchos artículos sobre la demografía de la población de MTurk. [18] [29] [30] Los trabajadores de MTurk tienden a ser más jóvenes, más educados, más liberales y ligeramente menos ricos que la población estadounidense en general. [31]

Aprendizaje automático

Los algoritmos de aprendizaje automático supervisado requieren grandes cantidades de datos anotados por humanos para ser entrenados con éxito. Los investigadores de aprendizaje automático han contratado a trabajadores a través de Mechanical Turk para producir conjuntos de datos como SQuAD, un conjunto de datos de preguntas y respuestas . [32]

Búsqueda de personas desaparecidas

Desde 2007 , el servicio se ha utilizado para buscar personas desaparecidas importantes. Este uso se sugirió por primera vez durante la búsqueda de James Kim , pero su cuerpo fue encontrado antes de que se hiciera ningún progreso técnico. Ese verano, el científico informático Jim Gray desapareció en su yate y Werner Vogels de Amazon , un amigo personal, hizo arreglos para que DigitalGlobe , que proporciona datos satelitales para Google Maps y Google Earth , colocara fotografías recientes de las Islas Farallón en Mechanical Turk. Una historia de portada en Digg atrajo a 12.000 buscadores que trabajaron con profesionales de la imagen en los mismos datos. La búsqueda no tuvo éxito. [33]

En septiembre de 2007, se repitió un procedimiento similar en la búsqueda del aviador Steve Fossett . Los datos satelitales se dividieron en secciones de 85 metros cuadrados (910 pies cuadrados) y se pidió a los usuarios de Mechanical Turk que marcaran las imágenes con "objetos extraños" que pudieran ser el lugar del accidente u otras pruebas que deberían examinarse más de cerca. [34] Esta búsqueda tampoco tuvo éxito. La mayoría de las imágenes satelitales se encontraban en un radio de 50 millas, [35] pero el lugar del accidente fue finalmente encontrado por excursionistas aproximadamente un año después, a 65 millas de distancia. [36]

Obras artísticas

MTurk también se ha utilizado como herramienta para la creación artística. Una de las primeras artistas que trabajó con Mechanical Turk fue xtine burrough, con The Mechanical Olympics (2008), [37] [38] Endless Om (2015) y Mediations on Digital Labor (2015). [39] Otra obra fue Ten Thousand Cents (2008) del artista Aaron Koblin . [ se necesita más explicación ]

Programación de terceros

Los programadores han desarrollado extensiones y scripts para navegadores diseñados para simplificar el proceso de realización de tareas. Amazon ha declarado que desaprueba los scripts que automatizan por completo el proceso y excluyen el elemento humano. Esto se debe a la preocupación de que el proceso de finalización de tareas (por ejemplo, responder a una encuesta) pueda ser manipulado con respuestas aleatorias y los datos recopilados resultantes puedan ser inútiles. [40] Se han prohibido las cuentas que utilizan los llamados bots automatizados. Hay servicios que amplían las capacidades a MTurk. [ Aclaración necesaria ]

API

Amazon pone a disposición una interfaz de programación de aplicaciones (API) para el sistema MTurk. La API de MTurk permite a un programador enviar trabajos, recuperar el trabajo completado y aprobar o rechazar ese trabajo. [41] En 2017, Amazon lanzó soporte para los kits de desarrollo de software (SDK) de AWS, lo que permitió que nueve nuevos SDK estuvieran disponibles para los usuarios de MTurk. [¿ Importancia? ] MTurk es accesible a través de la API desde los siguientes lenguajes: Python, JavaScript, Java, .NET, Go, Ruby, PHP o C++. [42] Los sitios web y los servicios web pueden usar la API para integrar el trabajo de MTurk en otras aplicaciones web, lo que proporciona a los usuarios alternativas a la interfaz que Amazon ha creado para estas funciones.

Ejemplos de casos de uso

Procesamiento de fotografías/vídeos

Amazon Mechanical Turk ofrece una plataforma para procesar imágenes, una tarea muy adecuada para la inteligencia humana. Los solicitantes han creado tareas que piden a los trabajadores que etiqueten objetos encontrados en una imagen, seleccionen la imagen más relevante en un grupo de imágenes, filtren contenido inapropiado, clasifiquen objetos en imágenes satelitales o digitalicen texto de imágenes como formularios escaneados y completados a mano. [43]

Limpieza/verificación de datos

Las empresas con grandes catálogos en línea utilizan Mechanical Turk para identificar duplicados y verificar los detalles de las entradas de artículos. Por ejemplo: eliminar duplicados en listados de directorios de páginas amarillas, verificar detalles de restaurantes (por ejemplo, número de teléfono y horario) y encontrar información de contacto en páginas web (por ejemplo, nombre y correo electrónico del autor). [10] [43]

Recopilación de información

La diversificación y la escala del personal de Mechanical Turk permiten recopilar información a gran escala, lo que sería difícil fuera de una plataforma de masas. Mechanical Turk permite a los solicitantes reunir una gran cantidad de respuestas a varios tipos de encuestas, desde datos demográficos básicos hasta investigaciones académicas. Otros usos incluyen la redacción de comentarios, descripciones y entradas de blogs en sitios web y la búsqueda de elementos de datos o campos específicos en documentos gubernamentales y legales de gran tamaño. [43]

Proceso de datos

Las empresas utilizan el trabajo colaborativo de Mechanical Turk para comprender y responder a distintos tipos de datos. Los usos más comunes incluyen la edición y transcripción de podcasts, la traducción y la búsqueda de coincidencias con resultados de motores de búsqueda. [10] [43]

Validez de la investigación

La validez de la investigación realizada con el grupo de trabajadores de Mechanical Turk ha sido debatida durante mucho tiempo entre los expertos. [44] Esto se debe en gran medida a que las cuestiones de validez [45] son ​​complejas: involucran no solo preguntas sobre si los métodos de investigación fueron apropiados y si el estudio se ejecutó bien, sino también preguntas sobre el objetivo del proyecto, cómo los investigadores utilizaron MTurk, quiénes fueron muestreados y qué conclusiones se extrajeron.

La mayoría de los expertos coinciden en que MTurk es más adecuado para algunos tipos de investigación que para otros. Parece ser adecuado para preguntas que buscan entender si dos o más cosas están relacionadas entre sí (investigación correlacional; por ejemplo, ¿las personas felices son más saludables?) y preguntas que intentan demostrar que una cosa causa otra cosa (investigación experimental; por ejemplo, ser feliz hace que las personas sean más saludables). Afortunadamente, estas categorías abarcan la mayor parte de la investigación realizada por científicos del comportamiento, y la mayoría de los hallazgos correlacionales y experimentales encontrados en muestras representativas a nivel nacional se replican en MTurk. [46]

El tipo de investigación que no es adecuada para MTurk se denomina a menudo "investigación descriptiva". La investigación descriptiva busca describir cómo o qué piensan, sienten o hacen las personas; un ejemplo son las encuestas de opinión pública. MTurk no es adecuada para este tipo de investigación porque no selecciona una muestra representativa de la población general. En cambio, MTurk es una muestra no probabilística, [ jerga ] de conveniencia. La investigación descriptiva se lleva a cabo mejor con una muestra representativa basada en la probabilidad de la población que los investigadores quieren comprender. En comparación con la población general, las personas en MTurk son más jóvenes, con un nivel educativo más alto, más liberales y menos religiosas. [47] [18] [30]

Cuestiones laborales

Periodistas y activistas han criticado a Mechanical Turk por sus interacciones con la mano de obra y su uso de ella. El científico informático Jaron Lanier señaló que el diseño de Mechanical Turk "permite pensar en las personas como componentes de software" de una manera que evoca "una sensación de magia, como si se pudieran extraer resultados de la nube a un coste increíblemente bajo". [48] Un punto similar se plantea en el libro Ghostwork de Mary L. Gray y Siddharth Suri. [49] [ ¿importancia? ]

Los críticos de MTurk sostienen que los trabajadores se ven obligados a trabajar en el sitio debido a las precarias condiciones económicas y que luego son explotados por solicitantes con salarios bajos y falta de poder cuando surgen disputas. El artículo de la periodista Alana Semuels "Internet está permitiendo un nuevo tipo de infierno mal pagado" en The Atlantic es un ejemplo típico de este tipo de críticas a MTurk. [50]

Algunos artículos académicos [¿ quiénes? ] han obtenido resultados que apoyan o sirven como base para tales críticas comunes, [51] pero otros las contradicen. [52] Un comentario académico reciente sostuvo que a los participantes de estudios en sitios como MTurk se les debería advertir claramente sobre las circunstancias en las que más tarde se les podría negar el pago como una cuestión de ética, [53] aunque tales declaraciones pueden no reducir la tasa de respuestas descuidadas. [54]

Un artículo publicado por un equipo de CloudResearch [14] muestra que solo alrededor del 7% de las personas en MTurk consideran que completar HIT es algo parecido a un trabajo de tiempo completo. La mayoría de las personas informan que MTurk es una forma de ganar dinero durante su tiempo libre o como un trabajo secundario. En 2019, el trabajador típico dedicaba de cinco a ocho horas por semana y ganaba alrededor de $ 7 por hora. Los trabajadores de la muestra no informaron sobre un maltrato generalizado [ aclaración necesaria ] a manos de los solicitantes; informaron que confiaban más en los solicitantes que en los empleadores fuera de MTurk. Se presentaron hallazgos similares en una revisión de MTurk realizada por la organización Fair Crowd Work, un colectivo de trabajadores de crowdsourcing y sindicatos. [55] [ ¿ Fuente poco confiable? ]

Compensación monetaria

El pago mínimo que Amazon permite por una tarea es de un centavo. Debido a que las tareas suelen ser simples y repetitivas, la mayoría de las tareas pagan solo unos pocos centavos, [56] pero también hay tareas que pagan bien en el sitio.

Muchas críticas a MTurk se deben al hecho de que la mayoría de las tareas ofrecen salarios bajos. Además, los trabajadores son considerados contratistas independientes en lugar de empleados. Los contratistas independientes no están protegidos por la Ley de Normas Laborales Justas u otra legislación que proteja los derechos de los trabajadores. [ Centrado en Estados Unidos ] Los trabajadores de MTurk deben competir con otros para obtener buenas oportunidades de HIT, así como dedicar tiempo a buscar tareas y otras acciones por las que no reciben compensación.

El bajo salario ofrecido por muchas tareas ha alimentado las críticas a Mechanical Turk por explotar y no compensar a los trabajadores por el verdadero valor de la tarea que completan. [57] Un estudio de 3,8 millones de tareas completadas por 2.767 trabajadores mostró que "los trabajadores ganaron un salario medio por hora de aproximadamente 2 dólares por hora" y el 4% de los trabajadores ganaron más de 7,25 dólares por hora. [58]

El Pew Research Center y la Oficina Internacional del Trabajo publicaron datos que indican que las personas ganaban alrededor de $5,00 por hora en 2015. [12] [59] Un estudio centrado en los trabajadores de los EE. UU. indicó salarios promedio de al menos $5,70 por hora, [60] y los datos del estudio CloudResearch encontraron salarios promedio de aproximadamente $6,61 por hora. [14] Algunas evidencias sugieren que las personas muy activas y experimentadas pueden ganar $20 por hora o más. [61]

Fraude

La revista Nation informó en 2014 que algunos solicitantes se habían aprovechado de los trabajadores al pedirles que hicieran las tareas y luego rechazar sus envíos para evitar pagarles. [62] Los datos disponibles indican que los rechazos son bastante raros. Los trabajadores informan que se les ha rechazado una pequeña minoría de sus HIT, tal vez tan solo el 1%. [14]

En el escándalo de datos de Facebook y Cambridge Analytica , Mechanical Turk fue uno de los medios para recopilar de forma encubierta información privada para una base de datos masiva. [63] El sistema pagaba a las personas uno o dos dólares para que instalaran una aplicación conectada a Facebook y respondieran preguntas personales. La tarea de la encuesta, como trabajo por encargo, no se utilizó para un proyecto de investigación demográfica o psicológica, como podría haber parecido. El propósito era, en cambio, incitar al trabajador a revelar información personal sobre su identidad que no hubiera sido recopilada ya por Facebook o Mechanical Turk.

Relaciones laborales

Otros han criticado que el mercado no permite a los trabajadores negociar con los empleadores. En respuesta a las críticas de evasión de pagos y falta de representación, un grupo desarrolló una plataforma de terceros llamada Turkopticon que permite a los trabajadores dar retroalimentación sobre sus empleadores. Esto permite a los trabajadores evitar trabajos potencialmente inescrupulosos y recomendar empleadores superiores. [64] [65] Otra plataforma llamada Dynamo permite a los trabajadores recopilar [ aclaración necesaria ] de forma anónima y organizar campañas para mejorar su entorno de trabajo, como las Directrices para solicitantes académicos y la Campaña Dear Jeff Bezos. [66] [67] [68] [69] Amazon dificultó que los trabajadores se inscribieran en Dynamo al cerrar la cuenta de solicitud que proporcionaba a los trabajadores un código requerido para la membresía de Dynamo. Los trabajadores crearon complementos de terceros para identificar tareas mejor pagadas, pero Amazon actualizó su sitio web para evitar que estos complementos funcionen. [70] Los trabajadores se han quejado de que el sistema de pago de Amazon en ocasiones deja de funcionar. [70]

Sistemas relacionados

Mechanical Turk es comparable en algunos aspectos al servicio Google Answers , que ya no está en funcionamiento . Sin embargo, Mechanical Turk es un mercado más general que puede ayudar a distribuir cualquier tipo de tareas laborales en todo el mundo. El Collaborative Human Interpreter (CHI) de Philipp Lenssen también sugirió utilizar la inteligencia humana distribuida para ayudar a los programas informáticos a realizar tareas que las computadoras no pueden hacer bien. MTurk podría utilizarse como motor de ejecución para el CHI. [ cita requerida ]

En 2014, el gigante de búsqueda ruso Yandex lanzó un sistema similar llamado Toloka que es similar a Mechanical Turk. [71]

Véase también

Referencias

  1. ^ "Amazon Mechanical Turk, página de preguntas frecuentes" . Consultado el 14 de abril de 2017 .
  2. ^ "Descripción general | Solicitante | Amazon Mechanical Turk". Requester.mturk.com . Consultado el 28 de noviembre de 2011 .
  3. ^ "Turco mecánico de Amazon". www.mturk.com .
  4. ^ Varias fuentes:
    • «Arreglo híbrido entre máquina y computación humana». 2001. Archivado desde el original el 12 de junio de 2018. Consultado el 28 de julio de 2016 .
    • Patente estadounidense 7.197.459
  5. ^ "Inteligencia artificial". The Economist . 10 de junio de 2006.
  6. ^ ab "Precios de Mturk". AWS . Amazon. 2019 . Consultado el 16 de abril de 2019 .
  7. ^ "Foros de desarrolladores de AWS" . Consultado el 14 de noviembre de 2012 .
  8. ^ Tamir, Dahn. "50000 trabajadores turcos mecánicos en todo el mundo". techlist . Consultado el 17 de septiembre de 2014 .
  9. ^ Djellel, Difallah; Filatova, Elena; Ipeirotis, Panos (2018). "Demografía y dinámica de los trabajadores turcos mecánicos". Actas de la undécima conferencia internacional de la ACM sobre búsqueda web y minería de datos (PDF) . págs. 135–143. doi :10.1145/3159652.3159661. ISBN 9781450355810. Número de identificación del sujeto  22339115.
  10. ^ abc "Amazon Mechanical Turk: El taller clandestino digital" Ellen Cushing Utne Reader Enero-febrero de 2013
  11. ^ Berg, Janine (2015–2016). "Seguridad de ingresos en la economía bajo demanda: hallazgos y lecciones de política de una encuesta a trabajadores colaborativos". Revista Comparativa de Derecho y Política Laboral . 37 : 543.
  12. ^ ab Geiger, Abigail (11 de julio de 2016). "Investigación en la era del crowdsourcing: un estudio de caso". Pew Research Center: Internet, Science & Tech . Consultado el 9 de enero de 2023 .
  13. ^ "Amazon Mechanical Turk - Trabajo justo para todos" . Consultado el 9 de enero de 2023 .
  14. ^ abcd Moss, Aaron J; Rosenzweig, Cheskie; Robinson, Jonathan; Jaffe, Shalom Noach; Litman, Leib (28 de abril de 2020). "¿Es ético utilizar Mechanical Turk para la investigación del comportamiento? Datos relevantes de una encuesta representativa de los participantes y los salarios de MTurk". doi :10.31234/osf.io/jbc9d. S2CID  236840556. {{cite journal}}: Requiere citar revista |journal=( ayuda )
  15. ^ "MTurk es la forma más ética de reclutar trabajadores colaborativos". Blog | TurkerView . 2019-11-18 . Consultado el 2023-01-09 .
  16. ^ Panos Ipeirotis (19 de marzo de 2008). "Mechanical Turk: The Demographics". Universidad de Nueva York . Consultado el 30 de julio de 2009 .
  17. ^ Panos Ipeirotis (16 de marzo de 2009). "Demografía de Turker frente a demografía de Internet". Universidad de Nueva York . Consultado el 30 de julio de 2009 .
  18. ^ abc Litman, Leib (2020). Realización de investigaciones en línea sobre Amazon Mechanical Turk y más. Jonathan Robinson (1.ª ed.). Los Ángeles. ISBN 978-1-5063-9111-3.OCLC 1180179545  .{{cite book}}: CS1 maint: location missing publisher (link)
  19. ^ Robinson, Jonathan; Rosenzweig, Cheskie; Moss, Aaron J.; Litman, Leib (16 de diciembre de 2019). Sudzina, Frantisek (ed.). "¿Agotado o apenas aprovechado? Recomendaciones sobre cómo aprovechar el vasto y en gran medida no utilizado potencial del grupo de participantes de Mechanical Turk". PLOS ONE . ​​14 (12): e0226394. Bibcode :2019PLoSO..1426394R. doi : 10.1371/journal.pone.0226394 . ISSN  1932-6203. PMC 6913990 . PMID  31841534. 
  20. ^ Panos Ipeirotis (9 de marzo de 2010). "La nueva demografía de Mechanical Turk". Universidad de Nueva York . Consultado el 24 de marzo de 2014 .
  21. ^ "MTurk Tracker". demographics.mturk-tracker.com . Consultado el 1 de octubre de 2015 .
  22. ^ "MTurk Tracker". demographics.mturk-tracker.com . Consultado el 2 de mayo de 2019 .
  23. ^ "MTurk Tracker". demographics.mturk-tracker.com . Consultado el 17 de abril de 2023 .
  24. ^ Casey, Logan; Chandler, Jesse; Levine, Adam; Proctor, Andrew; Sytolovich, Dara (2017). "Diferencias intertemporales entre trabajadores de MTurk: variaciones de muestra basadas en el tiempo e implicaciones para la recopilación de datos en línea". SAGE Open . 7 (2): 215824401771277. doi : 10.1177/2158244017712774 .
  25. ^ Levay, Kevin; Freese, Jeremy; Druckman, James (2016). "La composición demográfica y política de las muestras de Mechanical Turk". SAGE Open . 6 : 215824401663643. doi : 10.1177/2158244016636433 .
  26. ^ Agley, Jon; Xiao, Yunyu; Nolan, Rachael; Golzarri-Arroyo, Lilian (2021). "Preguntas de control de calidad en Mechanical Turk (MTurk) de Amazon: un ensayo aleatorio de impacto en USAUDIT, PHQ-9 y GAD-7". Métodos de investigación del comportamiento . 54 (2): 885–897. doi : 10.3758/s13428-021-01665-8 . ISSN  1554-3528. PMC 8344397 . PMID  34357539. 
  27. ^ Hauser, David; Paolacci, Gabriele; Chandler, Jesse J. (1 de septiembre de 2018). "Preocupaciones comunes con MTurk como grupo de participantes: evidencia y soluciones". doi :10.31234/osf.io/uq45c. S2CID  240258666. {{cite journal}}: Requiere citar revista |journal=( ayuda )
    • Clifford, Scott; Jerit, Jennifer (2016). "Hacer trampa en las preguntas sobre conocimientos políticos en las encuestas online: una evaluación del problema y sus soluciones". Public Opinion Quarterly . 80 (4): 858–887. doi : 10.1093/poq/nfw030 . ISSN  0033-362X.
    • Hauser, David J.; Moss, Aaron J.; Rosenzweig, Cheskie; Jaffe, Shalom N.; Robinson, Jonathan; Litman, Leib (3 de noviembre de 2022). "Evaluación del grupo aprobado de CloudResearch como solución para la calidad de datos problemática en MTurk". Métodos de investigación del comportamiento . 55 (8): 3953–3964. doi : 10.3758/s13428-022-01999-x . ISSN  1554-3528. PMC  10700412 . PMID  36326997.
  28. ^ Chandler, Jesse.; Shapiro, Danielle (2016). "Realización de investigaciones clínicas mediante muestras de conveniencia de colaboración colectiva". Revisión anual de psicología clínica . 12 : 53–81. doi : 10.1146/annurev-clinpsy-021815-093623 . PMID  26772208.
  29. ^ Huff, Connor; Tingley, Dustin (1 de julio de 2015). ""¿Quiénes son estas personas?" Evaluación de las características demográficas y las preferencias políticas de los encuestados de MTurk". Investigación y política . 2 (3): 205316801560464. doi : 10.1177/2053168015604648 . ISSN  2053-1680. S2CID  7749084.
  30. ^ ab Clifford, Scott; Jewell, Ryan M; Waggoner, Philip D (1 de octubre de 2015). "¿Son válidas las muestras extraídas de Mechanical Turk para la investigación sobre ideología política?". Investigación y política . 2 (4): 205316801562207. doi : 10.1177/2053168015622072 . ISSN  2053-1680. S2CID  146591698.
  31. ^ Chandler, Jesse; Rosenzweig, Cheskie; Moss, Aaron J.; Robinson, Jonathan; Litman, Leib (octubre de 2019). "Paneles en línea en la investigación en ciencias sociales: expansión de los métodos de muestreo más allá de Mechanical Turk". Métodos de investigación del comportamiento . 51 (5): 2022–2038. doi :10.3758/s13428-019-01273-7. ISSN  1554-3528. PMC 6797699 . PMID  31512174. 
  32. ^ Rajpurkar, Pranav; Zhang, Jian; Lopyrev, Konstantin; Liang, Percy (2016). "SQuAD: más de 100 000 preguntas para la comprensión automática de texto". arXiv : 1606.05250 [cs.CL].
  33. ^ Steve Silberman (24 de julio de 2007). "Dentro de la búsqueda de una leyenda de Silicon Valley por parte de la alta tecnología". Revista Wired . Consultado el 16 de septiembre de 2007 .
  34. ^ "AVweb te invita a unirte a la búsqueda de Steve Fossett". Avweb.com. 8 de septiembre de 2007. Consultado el 28 de noviembre de 2011 .
  35. ^ "Resultados oficiales de Steve Fossett de Mechanical Turk". 24 de septiembre de 2007. Consultado el 14 de agosto de 2012 .
  36. ^ Jim Christie (1 de octubre de 2008). «Excursionistas encuentran el documento de identidad y las pertenencias de Steve Fossett». Reuters . Archivado desde el original el 20 de diciembre de 2008. Consultado el 27 de noviembre de 2008 .
  37. ^ "Hagamos algo físico". 5 de agosto de 2008.
  38. ^ "Juegos mecánicos, vídeos deportivos online para turcos | Neural". 29 de octubre de 2010.
  39. ^ "Bancos de la cárcel y Amazon.com en el Grand Central Art Center de SanTana | OC Weekly". Archivado desde el original el 6 de septiembre de 2015. Consultado el 16 de abril de 2019 .
    • Proyecto: http://www.missconceptions.net/mediations/
  40. ^ "Blog de Amazon Web Services: Actualización del estado de Amazon Mechanical Turk". Aws.typepad.com. 2005-12-06 . Consultado el 2011-11-28 .
  41. ^ "Archivo de documentación: Amazon Web Services". Developer.amazonwebservices.com. Archivado desde el original el 2009-04-10 . Consultado el 2011-11-28 .
  42. ^ "Referencia de API de Amazon Mechanical Turk". Developer.amazonwebservices.com.
  43. ^ abcd "Dentro de la plataforma Clickworker de Amazon: cómo a medio millón de personas se les paga una miseria por entrenar a la IA". TechRepublic . 16 de diciembre de 2016.
  44. ^ Landers, RN; Behrend, TS (2015). "¿Puedo utilizar Mechanical Turk (MTurk) para un estudio de investigación?". Psicología industrial y organizacional . 8 (2).
  45. ^ "Validez externa: generalización de resultados en la investigación". explorable.com .
    • "Métodos de investigación social - Base de conocimientos - Validez externa". www.socialresearchmethods.net .
  46. ^ Coppock, Alexander; Leeper, Thomas J.; Mullinix, Kevin J. (4 de diciembre de 2018). "Generalizabilidad de estimaciones heterogéneas del efecto del tratamiento en distintas muestras". Actas de la Academia Nacional de Ciencias . 115 (49): 12441–12446. Bibcode :2018PNAS..11512441C. doi : 10.1073/pnas.1808083115 . ISSN  0027-8424. PMC 6298071 . PMID  30446611. 
  47. ^ Chandler, Jesse; Rosenzweig, Cheskie; Moss, Aaron J.; Robinson, Jonathan; Litman, Leib (1 de octubre de 2019). "Paneles en línea en la investigación en ciencias sociales: Ampliando los métodos de muestreo más allá de Mechanical Turk". Métodos de investigación del comportamiento . 51 (5): 2022–2038. doi :10.3758/s13428-019-01273-7. ISSN  1554-3528. PMC 6797699 . PMID  31512174. 
  48. ^ Jaron Lanier (2013). ¿Quién es dueño del futuro? . Simon and Schuster. ISBN 978-1-4516-5497-4.
  49. ^ "Trabajo fantasma". Trabajo fantasma . Consultado el 24 de enero de 2023 .
  50. ^ Semuels, Alana (23 de enero de 2018). «Internet está posibilitando un nuevo tipo de infierno mal pagado». The Atlantic . Consultado el 24 de enero de 2023 .
  51. ^ Fort, K.; Adda, G.; Cohen, KB (2011). "Amazon Mechanical Turk: ¿mina de oro o mina de carbón?". Computational Linguistics . 37 (2): 413–420. doi : 10.1162/COLI_a_00057 . S2CID  1051130.
    • Williamson, Vanessa (enero de 2016). "Sobre la ética de la investigación colaborativa". PS: Political Science & Politics . 49 (1): 77–81. doi : 10.1017/S104909651500116X (inactivo 2024-09-29). ISSN  1049-0965. S2CID  155196102.{{cite journal}}: CS1 maint: DOI inactive as of September 2024 (link)
  52. ^ Horton, John J. (1 de abril de 2011). "La situación de la clase turca: ¿son justos y honestos los empleadores en línea?". Economics Letters . 111 (1): 10–12. arXiv : 1001.1172 . doi :10.1016/j.econlet.2010.12.007. ISSN  0165-1765. S2CID  37577313.
    • Moss, AJ; Rosenzweig, C.; Robinson, J.; Jaffe, S.; Litman, L. (2020). "¿Es ético utilizar Mechanical Turk para la investigación del comportamiento? Datos relevantes de una encuesta representativa de participantes de MTurk y salarios". Métodos de investigación del comportamiento .
  53. ^ Agley, Jon; Mumaw, Casey (29 de mayo de 2024). "Advertir a los participantes de estudios colaborativos sobre las posibles consecuencias de la participación desatenta se relaciona con el consentimiento informado, independientemente de los efectos sobre la calidad de los datos". Health Behavior Research . 7 (2). doi :10.4148/2572-1836.1236. ISSN  2572-1836.
  54. ^ Brühlmann, Florian; Memeti, Zgjim; Aeschbach, Lena F.; Perrig, Sebastian AC; Opwis, Klaus (18 de enero de 2024). "La eficacia de las advertencias para reducir las respuestas descuidadas en las encuestas online colaborativas". Métodos de investigación del comportamiento . 56 (6): 5862–5875. doi : 10.3758/s13428-023-02321-z . ISSN  1554-3528. PMC 11335820 . PMID  38238528. 
  55. ^ "Amazon Mechanical Turk - Trabajo justo para todos" . Consultado el 24 de enero de 2023 .
  56. ^ Ipeirotis, PG (2010). Análisis del mercado de Amazon Mechanical Turk. XRDS: Crossroads, La revista ACM para estudiantes , 17 (2), 16-21.
    • Geiger, Abigail (11 de julio de 2016). "Investigación en la era del crowdsourcing: un estudio de caso". Pew Research Center: Internet, Science & Tech . Consultado el 24 de enero de 2023 .
  57. ^ Schmidt, Florian Alexander (2013). "Lo bueno, lo malo y lo feo: por qué el crowdsourcing necesita ética". Conferencia internacional sobre computación verde y en la nube de 2013. págs. 531–535. doi :10.1109/CGC.2013.89. ISBN 978-0-7695-5114-2. Número de identificación del sujeto  18798641.
  58. ^ Hara, Kotaro; Adams, Abigail; Milland, Kristy; Savage, Saiph; Callison-Burch, Chris; Bigham, Jeffrey P. (21 de abril de 2018). "Un análisis basado en datos de las ganancias de los trabajadores en Amazon Mechanical Turk". Actas de la Conferencia CHI de 2018 sobre factores humanos en sistemas informáticos. CHI '18. Nueva York, NY, EE. UU.: Association for Computing Machinery. págs. 1–14. doi :10.1145/3173574.3174023. ISBN 978-1-4503-5620-6.S2CID 5040507  .
  59. ^ Berg, J. (2015). Seguridad de ingresos en la economía a demanda: hallazgos y lecciones de política de una encuesta a trabajadores colaborativos. Comparative Labor Law and Policy Journal, 37, 543.
  60. ^ Litman, Leib; Robinson, Jonathan; Rosen, Zohn; Rosenzweig, Cheskie; Waxman, Joshua; Bates, Lisa M. (21 de febrero de 2020). "La persistencia de la desigualdad salarial: la brecha salarial de género en un mercado laboral anónimo en línea". PLOS ONE . ​​15 (2): e0229383. Bibcode :2020PLoSO..1529383L. doi : 10.1371/journal.pone.0229383 . ISSN  1932-6203. PMC 7034870 . PMID  32084233. 
  61. ^ "MTurk es la forma más ética de reclutar trabajadores colaborativos". Blog | TurkerView . 2019-11-18 . Consultado el 2023-01-24 .
  62. ^ Marvit, Moshe Z. (5 de febrero de 2014). "Cómo los trabajadores colaborativos se convirtieron en los fantasmas de la máquina digital". www.thenation.com .
  63. ^ New York Times (10 de abril de 2018). «Cambridge Analytica y la inminente crisis de datos». The New York Times . Consultado el 13 de abril de 2018 .
  64. ^ Hal Hodson (7 de febrero de 2013). «El crowdsourcing crece a medida que los trabajadores en línea se unen». New Scientist . Consultado el 21 de mayo de 2015 .
  65. ^ "turkopticon". turkopticon.ucsd.edu .
  66. ^ Mark Harris (3 de diciembre de 2014). «Los trabajadores de Mechanical Turk de Amazon protestan: «Soy un ser humano, no un algoritmo»». The Guardian . Consultado el 6 de octubre de 2015 .
  67. ^ Fingas, Jon (3 de diciembre de 2014). «'Los trabajadores de Mechanical Turk de Amazon quieren ser tratados como humanos'». Engadget . Consultado el 6 de octubre de 2015 .
  68. ^ James Vincent (4 de diciembre de 2014). «Los Mechanical Turkers de Amazon quieren ser reconocidos como 'seres humanos reales'». The Verge . Consultado el 6 de octubre de 2015 .
  69. ^ Sarah Kessler (19 de febrero de 2015). "¿CÓMO SE VE UN SINDICATO EN LA ECONOMÍA GIG?". Fast Company . Consultado el 6 de octubre de 2015 .
  70. ^ ab Semuels, Alana (23 de enero de 2018). «Internet está posibilitando un nuevo tipo de infierno mal pagado». The Atlantic . Consultado el 25 de abril de 2019 .
  71. ^ "Yandex.Toloka".

Lectura adicional

Enlaces externos