El sesgo de automatización es la propensión de los humanos a favorecer las sugerencias de los sistemas de toma de decisiones automatizados y a ignorar la información contradictoria realizada sin automatización, incluso si es correcta. [1] El sesgo de automatización proviene de la literatura de psicología social que encontró un sesgo en la interacción humano-humano que mostró que las personas asignan evaluaciones más positivas a las decisiones tomadas por humanos que a un objeto neutral. [2] El mismo tipo de sesgo de positividad se ha encontrado para la interacción humano-automatización, [3] donde las decisiones automatizadas se califican más positivamente que neutrales. [4] Esto se ha convertido en un problema creciente para la toma de decisiones a medida que las unidades de cuidados intensivos , las plantas de energía nuclear y las cabinas de los aviones han integrado cada vez más monitores de sistemas computarizados y ayudas para la toma de decisiones para descartar en su mayoría posibles errores humanos. Los errores de sesgo de automatización tienden a ocurrir cuando la toma de decisiones depende de computadoras u otras ayudas automatizadas y el humano está en un papel de observador pero es capaz de tomar decisiones. Los ejemplos de sesgo de automatización van desde asuntos urgentes como volar un avión con piloto automático hasta asuntos tan mundanos como el uso de programas de revisión ortográfica . [5]
La confianza de un operador en el sistema también puede dar lugar a diferentes interacciones con el sistema, incluido el uso, mal uso, desuso y abuso del sistema. [6] [ vago ]
La tendencia a depender excesivamente de las ayudas automatizadas se conoce como "mal uso de la automatización". [6] [7] El mal uso de la automatización se puede ver cuando un usuario no supervisa adecuadamente un sistema automatizado, o cuando el sistema automatizado se utiliza cuando no debería. Esto contrasta con el desuso, donde el usuario no utiliza adecuadamente la automatización ya sea apagándola o ignorándola. Tanto el mal uso como el desuso pueden ser problemáticos, pero el sesgo de automatización está directamente relacionado con el mal uso de la automatización a través de una confianza excesiva en las capacidades del sistema o el uso predeterminado de heurísticas. El mal uso puede conducir a la falta de supervisión del sistema automatizado o a un acuerdo ciego con una sugerencia de automatización, categorizados por dos tipos de errores, errores de omisión y errores de comisión, respectivamente. [8] [9] [6]
El uso y desuso de la automatización también puede influir en las etapas del procesamiento de la información: adquisición de información, análisis de información, toma de decisiones y selección de acciones , e implementación de acciones. [10]
Por ejemplo, la adquisición de información, el primer paso en el procesamiento de información, es el proceso por el cual un usuario registra la entrada a través de los sentidos. [10] Un indicador de motor automatizado podría ayudar al usuario con la adquisición de información a través de características de interfaz simples, como resaltar cambios en el rendimiento del motor, dirigiendo así la atención selectiva del usuario. Cuando se enfrentan a problemas que se originan en una aeronave, los pilotos pueden tender a confiar demasiado en los indicadores del motor de una aeronave, perdiendo de vista otras posibles fallas no relacionadas con el motor. Esta actitud es una forma de complacencia y mal uso de la automatización. Sin embargo, si el piloto dedica tiempo a interpretar el indicador del motor y manipular la aeronave en consecuencia, solo para descubrir que la turbulencia del vuelo no ha cambiado, el piloto puede inclinarse a ignorar futuras recomendaciones de error transmitidas por un indicador de motor, una forma de complacencia de la automatización que conduce al desuso.
El sesgo de automatización puede adoptar la forma de errores de comisión, que se producen cuando los usuarios siguen una directiva automatizada sin tener en cuenta otras fuentes de información. Por el contrario, los errores de omisión se producen cuando los dispositivos automatizados no detectan o indican problemas y el usuario no se da cuenta porque no está supervisando adecuadamente el sistema. [11]
Se ha demostrado que los errores de omisión son resultado de disminuciones de la vigilancia cognitiva, mientras que los errores de comisión son resultado de una combinación de no tener en cuenta la información y una confianza excesiva en la fiabilidad de las ayudas automáticas. [5] Los errores de comisión ocurren por tres razones: (1) redirección manifiesta de la atención lejos de la ayuda automática; (2) disminución de la atención a la ayuda; (3) desestimación activa de la información que contradice las recomendaciones de la ayuda. [12] Los errores de omisión ocurren cuando el tomador de decisiones humano no se da cuenta de una falla de automatización, ya sea debido a una baja vigilancia o un exceso de confianza en el sistema. [5] Por ejemplo, un programa de revisión ortográfica que marca incorrectamente una palabra como mal escrita y sugiere una alternativa sería un error de comisión, y un programa de revisión ortográfica que no se da cuenta de una palabra mal escrita sería un error de omisión. En estos casos, el sesgo de automatización podría observarse por un usuario que acepta la palabra alternativa sin consultar un diccionario, o un usuario que no se da cuenta de la palabra mal escrita incorrectamente y asume que todas las palabras son correctas sin revisarlas.
Se ha demostrado que la capacitación centrada en la reducción del sesgo de automatización y los problemas relacionados reduce la tasa de errores de comisión, pero no la de errores de omisión. [5]
La presencia de ayudas automáticas, como señala una fuente, “disminuye la probabilidad de que los encargados de tomar decisiones hagan el esfuerzo cognitivo de buscar otra información diagnóstica o procesen toda la información disponible de maneras cognitivamente complejas”. También hace que los usuarios sean más propensos a concluir su evaluación de una situación demasiado apresuradamente después de que una ayuda automática los impulse a tomar un curso de acción específico. [7]
Según una fuente, hay tres factores principales que conducen al sesgo de automatización. En primer lugar, la tendencia humana a elegir el enfoque menos cognitivo para la toma de decisiones, lo que se denomina la hipótesis del avaro cognitivo . En segundo lugar, la tendencia de los humanos a considerar que los asistentes automatizados tienen una capacidad analítica superior a la suya. En tercer lugar, la tendencia de los humanos a reducir su propio esfuerzo cuando comparten tareas, ya sea con otra persona o con un asistente automatizado. [12]
Otros factores que llevan a una dependencia excesiva de la automatización y, por lo tanto, al sesgo de automatización incluyen la inexperiencia en una tarea (aunque los usuarios inexpertos tienden a ser los más beneficiados por los sistemas automatizados de apoyo a la toma de decisiones), la falta de confianza en las propias habilidades, la falta de información alternativa fácilmente disponible o el deseo de ahorrar tiempo y esfuerzo en tareas complejas o cargas de trabajo elevadas. [13] [14] [15] [8] Se ha demostrado que las personas que tienen mayor confianza en sus propias habilidades para la toma de decisiones tienden a depender menos del apoyo automatizado externo, mientras que aquellos con más confianza en los sistemas de apoyo a la toma de decisiones (DSS) eran más dependientes de él. [13]
Un estudio, publicado en el Journal of the American Medical Informatics Association , descubrió que la posición y la prominencia de los consejos en una pantalla pueden afectar la probabilidad de sesgo de automatización, ya que es más probable que se sigan los consejos que se muestran de forma destacada, sean correctos o no; sin embargo, otro estudio pareció restar importancia a este factor. [13] Según otro estudio, una mayor cantidad de detalles en pantalla puede hacer que los usuarios sean menos "conservadores" y, por lo tanto, aumentar la probabilidad de sesgo de automatización. [13] Un estudio mostró que hacer que las personas sean responsables de su desempeño o de la precisión de sus decisiones reducía el sesgo de automatización. [5]
"La disponibilidad de ayudas automatizadas para la toma de decisiones", afirma un estudio de Linda Skitka , "puede a veces alimentar la tendencia humana general a recorrer el camino del menor esfuerzo cognitivo". [5]
Un estudio también encontró que cuando los usuarios conocen el proceso de razonamiento empleado por un sistema de apoyo a la toma de decisiones, es probable que ajusten su confianza en consecuencia, reduciendo así el sesgo de automatización. [13]
El hecho de que los trabajos los realicen equipos en lugar de individuos que actúen solos no elimina necesariamente el sesgo de automatización. [16] [11] Un estudio ha demostrado que cuando los dispositivos automatizados no detectaban irregularidades en el sistema, los equipos no tenían más éxito que los trabajadores que actuaban solos a la hora de responder a esas irregularidades. [5]
La capacitación que se centra en el sesgo de automatización en la aviación ha logrado reducir los errores de omisión de los pilotos estudiantes. [16] [11]
Se ha demostrado que un fallo de automatización va seguido de una caída de la confianza del operador, que a su vez va seguida de una lenta recuperación de la confianza. La caída de la confianza después de un fallo de automatización inicial se ha descrito como el efecto del primer fallo. [12] Del mismo modo, si las ayudas automatizadas demuestran ser muy fiables a lo largo del tiempo, es probable que el resultado sea un mayor nivel de sesgo de automatización. Esto se denomina "descuido aprendido". [12]
En los casos en que se proporciona a los usuarios información sobre la confianza del sistema, esa información en sí misma puede convertirse en un factor de sesgo en la automatización. [12]
Los estudios han demostrado que cuanto más presiones externas se ejercen sobre la capacidad cognitiva de un individuo, más puede éste depender del apoyo externo. [13]
Aunque el sesgo de automatización ha sido objeto de muchos estudios, siguen existiendo quejas de que el sesgo de automatización sigue estando mal definido y de que la notificación de incidentes que involucran sesgo de automatización no es sistemática. [13] [8]
Una revisión de varios estudios sobre el sesgo de automatización clasificó los diferentes tipos de tareas en las que se utilizaron ayudas automatizadas, así como la función que cumplían dichas ayudas. Las tareas en las que se utilizaron ayudas automatizadas se clasificaron como tareas de monitoreo, tareas de diagnóstico o tareas de tratamiento. Los tipos de asistencia automatizada se enumeraron como automatización de alertas, que rastrea cambios importantes y alerta al usuario, automatización de apoyo a la toma de decisiones, que puede proporcionar un diagnóstico o una recomendación, o automatización de la implementación, donde la ayuda automatizada realiza una tarea específica. [8]
El concepto de sesgo de automatización se considera superpuesto con la complacencia inducida por la automatización, también conocida más simplemente como complacencia de la automatización. Al igual que el sesgo de automatización, es una consecuencia del mal uso de la automatización e implica problemas de atención. Mientras que el sesgo de automatización implica una tendencia a confiar en los sistemas de apoyo a la toma de decisiones, la complacencia de la automatización implica una atención y un seguimiento insuficientes de los resultados de la automatización, normalmente porque se considera que esos resultados son fiables. [13] "Aunque los conceptos de complacencia y sesgo de automatización se han analizado por separado como si fueran independientes", escribe un experto, "comparten varios puntos en común, lo que sugiere que reflejan diferentes aspectos del mismo tipo de mal uso de la automatización". De hecho, se ha propuesto que los conceptos de complacencia y sesgo de automatización se combinen en un único "concepto integrador" porque estos dos conceptos "podrían representar diferentes manifestaciones de fenómenos superpuestos inducidos por la automatización" y porque "la complacencia inducida por la automatización y el sesgo de automatización representan conceptos teóricos estrechamente vinculados que muestran una superposición considerable con respecto a los procesos subyacentes". [12]
La complacencia en la automatización se ha definido como "una detección más deficiente de los fallos del sistema en condiciones de automatización en comparación con un control manual". El Sistema de Informes de Seguridad de la Aviación (ASRS) de la NASA define la complacencia como "la autosatisfacción que puede dar lugar a una falta de vigilancia basada en una suposición injustificada de un estado satisfactorio del sistema". Varios estudios han indicado que se produce con mayor frecuencia cuando los operadores realizan tareas manuales y automatizadas al mismo tiempo. A su vez, las percepciones de los operadores sobre la fiabilidad del sistema automatizado pueden influir en la forma en que el operador interactúa con el sistema. Endsley (2017) describe cómo una alta fiabilidad del sistema puede hacer que los usuarios se desvinculen de los sistemas de monitorización, lo que aumenta los errores de monitorización, disminuye la conciencia situacional e interfiere en la capacidad del operador para retomar el control del sistema en caso de que se hayan superado las limitaciones de rendimiento. [17] Esta complacencia puede reducirse drásticamente cuando la fiabilidad de la automatización varía con el tiempo en lugar de permanecer constante, pero no se reduce con la experiencia y la práctica. Tanto los participantes expertos como los inexpertos pueden mostrar sesgo de automatización, así como complacencia de la automatización. Ninguno de estos problemas se puede superar fácilmente mediante el entrenamiento. [12]
El término "complacencia ante la automatización" se utilizó por primera vez en relación con accidentes o incidentes de aviación en los que los pilotos , controladores de tráfico aéreo u otros trabajadores no verificaban los sistemas lo suficiente, asumiendo que todo estaba bien cuando, en realidad, estaba a punto de ocurrir un accidente. La complacencia del operador, relacionada o no con la automatización, se reconoce desde hace mucho tiempo como un factor principal en los accidentes aéreos. [12]
Como tal, las percepciones de confiabilidad, en general, pueden resultar en una forma de ironía de la automatización , en la que una mayor automatización puede disminuir la carga de trabajo cognitivo pero aumentar la oportunidad de errores de monitoreo. Por el contrario, una baja automatización puede aumentar la carga de trabajo pero disminuir la oportunidad de errores de monitoreo. [18] Tomemos, por ejemplo, un piloto que vuela en condiciones climáticas inclementes, en las que los truenos continuos interfieren con la capacidad del piloto para comprender la información transmitida por un controlador de tránsito aéreo (ATC). A pesar de cuánto esfuerzo se asigna a comprender la información transmitida por el ATC, el rendimiento del piloto está limitado por la fuente de información necesaria para la tarea. Por lo tanto, el piloto tiene que confiar en indicadores automatizados en la cabina para comprender la información de la trayectoria de vuelo. Si el piloto percibe que los indicadores automatizados son altamente confiables, la cantidad de esfuerzo necesario para comprender el ATC y los indicadores automatizados puede disminuir. Además, si se percibe que los indicadores automatizados son altamente confiables, el piloto puede ignorar esos indicadores para dedicar recursos mentales a descifrar la información transmitida por el ATC. De esta manera, el piloto se convierte en un monitor complaciente, con lo que corre el riesgo de perder información crítica transmitida por los medidores automáticos. Sin embargo, si el piloto percibe que los medidores automáticos no son confiables, tendrá que interpretar la información del ATC y de los medidores automáticos simultáneamente. Esto crea escenarios en los que el operador puede estar gastando recursos cognitivos innecesarios cuando la automatización es de hecho confiable, pero también aumenta las probabilidades de identificar posibles errores en los medidores meteorológicos si ocurren. Para calibrar la percepción de confiabilidad del piloto, la automatización debe diseñarse para mantener la carga de trabajo en niveles apropiados y al mismo tiempo garantizar que el operador permanezca involucrado en las tareas de monitoreo. El operador debería tener menos probabilidades de desvincularse del monitoreo cuando la confiabilidad del sistema puede cambiar en comparación con un sistema que tiene una confiabilidad constante (Parasuraman, 1993). [19]
Hasta cierto punto, la complacencia del usuario contrarresta los beneficios de la automatización, y cuando el nivel de confiabilidad de un sistema automatizado cae por debajo de un cierto nivel, la automatización ya no será un activo neto. Un estudio de 2007 sugirió que esta automatización ocurre cuando el nivel de confiabilidad alcanza aproximadamente el 70%. Otros estudios han encontrado que la automatización con un nivel de confiabilidad por debajo del 70% puede ser útil para personas con acceso a las fuentes de información en bruto, que se pueden combinar con el resultado de la automatización para mejorar el rendimiento. [12]
La muerte por GPS , en la que las muertes de personas se deben en parte a seguir instrucciones GPS inexactas, es otro ejemplo de complacencia en materia de automatización.
El sesgo de automatización se ha examinado en muchos campos de investigación. [13] Puede ser una preocupación particularmente importante en la aviación, la medicina , el control de procesos y las operaciones de comando y control militares . [12]
En un principio, el debate sobre el sesgo de automatización se centró principalmente en la aviación. Las ayudas automáticas han desempeñado un papel cada vez más importante en las cabinas de mando, y han asumido un papel cada vez mayor en el control de tareas de vuelo como la determinación de las rutas más eficientes en términos de consumo de combustible, la navegación y la detección y el diagnóstico de averías en los sistemas. Sin embargo, el uso de estas ayudas puede dar lugar a una búsqueda y un procesamiento de información menos atentos y menos vigilantes por parte de los seres humanos. En algunos casos, los seres humanos pueden confiar más en la información errónea proporcionada por los ordenadores de vuelo que en sus propias habilidades. [7]
Un factor importante en el sesgo de automatización relacionado con la aviación es el grado en que los pilotos se perciben a sí mismos como responsables de las tareas que llevan a cabo los asistentes automáticos. Un estudio de pilotos mostró que la presencia de un segundo miembro de la tripulación en la cabina no afectaba al sesgo de automatización. Un estudio de 1994 comparó el impacto de niveles bajos y altos de automatización (LOA) en el desempeño del piloto y concluyó que los pilotos que trabajaban con un nivel alto pasaban menos tiempo reflexionando de forma independiente sobre las decisiones de vuelo. [12]
En otro estudio, todos los pilotos que recibieron falsas alertas automáticas que les indicaban que apagaran un motor lo hicieron, a pesar de que esos mismos pilotos insistieron en una entrevista que no responderían a esa alerta apagando un motor, y en su lugar habrían reducido la potencia al ralentí. Un estudio de 1998 encontró que los pilotos con aproximadamente 440 horas de experiencia de vuelo detectaron más fallas de automatización que los no pilotos, aunque ambos grupos mostraron efectos de complacencia. Un estudio de 2001 de pilotos que usaban un sistema de automatización de cabina, el sistema de indicación de motor y alerta a la tripulación (EICAS), mostró evidencia de complacencia. Los pilotos detectaron menos fallas de motor cuando usaban el sistema que cuando realizaban la tarea manualmente. [12]
En un estudio de 2005, controladores de tráfico aéreo experimentados utilizaron una simulación de alta fidelidad de un escenario de ATC (vuelo libre) que implicaba la detección de conflictos entre aeronaves que se "autoseparaban". Tenían acceso a un dispositivo automático que identificaba los posibles conflictos con varios minutos de antelación. Cuando el dispositivo fallaba cerca del final del proceso de simulación, muchos menos controladores detectaban el conflicto que cuando la situación se manejaba manualmente. Otros estudios han arrojado resultados similares. [12]
Dos estudios sobre el sesgo de automatización en la aviación descubrieron una tasa más alta de errores de comisión que de errores de omisión, mientras que otro estudio de aviación encontró tasas de omisión del 55% y tasas de comisión del 0%. [13] Los errores de omisión relacionados con la automatización son especialmente comunes durante la fase de crucero. Cuando un vuelo de China Airlines perdió potencia en un motor, el piloto automático intentó corregir este problema bajando el ala izquierda, una acción que ocultó el problema a la tripulación. Cuando se desactivó el piloto automático, el avión se inclinó hacia la derecha y descendió abruptamente, causando daños importantes. El derribo en 1983 de un 747 de Korean Airlines sobre el espacio aéreo soviético ocurrió porque la tripulación coreana "confió en una automatización que había sido configurada de manera inadecuada y nunca verificaron su progreso manualmente". [7]
Los sistemas de apoyo a la toma de decisiones clínicas (SADC) están diseñados para ayudar a la toma de decisiones clínicas. Tienen el potencial de producir una gran mejora en este sentido y de dar como resultado mejores resultados para los pacientes. Sin embargo, si bien los SADC, cuando se utilizan correctamente, producen una mejora general en el rendimiento, también causan errores que pueden no reconocerse debido al sesgo de automatización. Un peligro es que el asesoramiento incorrecto que brindan estos sistemas puede hacer que los usuarios cambien una decisión correcta que hayan tomado por su cuenta. Dada la naturaleza sumamente grave de algunas de las posibles consecuencias del sesgo de automatización en el campo de la atención de la salud, es especialmente importante ser consciente de este problema cuando ocurre en entornos clínicos. [13]
En ocasiones, el sesgo de automatización en los entornos clínicos es un problema importante que hace que los CDSS, en general, sean contraproducentes; en ocasiones, es un problema menor, cuyos beneficios superan los daños ocasionados. Un estudio encontró un mayor sesgo de automatización entre los usuarios mayores, pero se observó que podría ser resultado no de la edad sino de la experiencia. Los estudios sugieren, de hecho, que la familiaridad con los CDSS a menudo conduce a efectos de desensibilización y habituación. Aunque el sesgo de automatización ocurre con mayor frecuencia entre las personas que no tienen experiencia en una tarea determinada, los usuarios inexpertos muestran la mayor mejora del rendimiento cuando utilizan los CDSS. En un estudio, el uso de los CDSS mejoró las respuestas de los médicos en un 21%, del 29% al 50%, y el 7% de las respuestas correctas que no eran de los CDSS se cambiaron incorrectamente. [13]
Un estudio de 2005 descubrió que cuando los médicos de atención primaria usaban fuentes electrónicas como PubMed , Medline y Google , había un aumento "pequeño a mediano" en las respuestas correctas, mientras que en un porcentaje igualmente pequeño de casos los médicos fueron engañados por el uso de esas fuentes y cambiaron las respuestas correctas por incorrectas. [12]
Los estudios realizados en 2004 y 2008 sobre el efecto de las ayudas automáticas en el diagnóstico del cáncer de mama encontraron pruebas claras de sesgo de automatización que implica errores de omisión. Los cánceres diagnosticados en el 46% de los casos sin ayudas automáticas se descubrieron solo en el 21% de los casos con ayudas automáticas que no lograron identificar el cáncer. [12]
El sesgo de automatización puede ser un factor crucial en el uso de sistemas inteligentes de apoyo a la toma de decisiones para operaciones militares de mando y control. Un estudio de 2004 concluyó que los efectos del sesgo de automatización han contribuido a una serie de decisiones militares fatales, incluidas las muertes por fuego amigo durante la guerra de Irak . Los investigadores han tratado de determinar el nivel adecuado de automatización para los sistemas de apoyo a la toma de decisiones en este campo. [12]
La complacencia en la automatización también es un desafío para los sistemas de conducción automatizada en los que el ser humano solo tiene que monitorear el sistema o actuar como conductor de respaldo. Esto se analiza, por ejemplo, en el informe de la Junta Nacional de Seguridad del Transporte sobre el accidente fatal entre un vehículo de prueba de UBER y la peatona Elaine Herzberg . [20]
El sesgo de automatización se puede mitigar rediseñando los sistemas automatizados para reducir la prominencia de la pantalla, disminuir la complejidad de la información o presentar la asistencia como información de apoyo en lugar de directiva. [13] Capacitar a los usuarios en sistemas automatizados que introducen errores deliberados reduce el sesgo de automatización de manera más efectiva que simplemente decirles que pueden ocurrir errores. [21] Verificar y cuestionar excesivamente la asistencia automatizada puede aumentar la presión del tiempo y la complejidad de la tarea, reduciendo así el beneficio, por lo que algunos sistemas automatizados de apoyo a la toma de decisiones equilibran los efectos positivos y negativos en lugar de intentar eliminar los efectos negativos. [14]
{{cite book}}: CS1 maint: bot: estado de URL original desconocido ( enlace )