La toma de decisiones automatizada ( ADM ) implica el uso de datos, máquinas y algoritmos para tomar decisiones en una variedad de contextos, incluida la administración pública , los negocios, la salud, la educación, el derecho, el empleo, el transporte, los medios de comunicación y el entretenimiento, con diversos grados de supervisión o intervención humana. ADM implica datos a gran escala de una variedad de fuentes, como bases de datos, texto, redes sociales, sensores, imágenes o voz, que se procesan utilizando varias tecnologías, incluido software informático, algoritmos, aprendizaje automático , procesamiento del lenguaje natural , inteligencia artificial , inteligencia aumentada y robótica . El uso creciente de sistemas de toma de decisiones automatizada (ADMS) en una variedad de contextos presenta muchos beneficios y desafíos para la sociedad humana que requieren la consideración de las consecuencias técnicas, legales, éticas, sociales, educativas, económicas y de salud. [1] [2] [3]
Existen diferentes definiciones de ADM en función del nivel de automatización involucrado. Algunas definiciones sugieren que la ADM implica decisiones tomadas a través de medios puramente tecnológicos sin intervención humana, [4] como el Reglamento General de Protección de Datos de la UE (Artículo 22). Sin embargo, las tecnologías y aplicaciones de ADM pueden adoptar muchas formas, que van desde sistemas de apoyo a la toma de decisiones que hacen recomendaciones para que los tomadores de decisiones humanos actúen en consecuencia, a veces conocido como inteligencia aumentada [5] o "toma de decisiones compartida", [2] hasta procesos de toma de decisiones totalmente automatizados que toman decisiones en nombre de individuos u organizaciones sin participación humana. [6] Los modelos utilizados en los sistemas de toma de decisiones automatizada pueden ser tan simples como listas de verificación y árboles de decisión hasta inteligencia artificial y redes neuronales profundas (DNN).
Desde la década de 1950, las computadoras han pasado de ser capaces de realizar procesamientos básicos a tener la capacidad de llevar a cabo tareas complejas, ambiguas y que requieren mucha habilidad, como reconocimiento de imágenes y voz, juegos, análisis científicos y médicos y deducciones a partir de múltiples fuentes de datos. La tecnología ADM se está implementando cada vez más en todos los sectores de la sociedad y en muchos dominios diversos, desde el entretenimiento hasta el transporte.
Un sistema ADM (ADMS) puede involucrar múltiples puntos de decisión, conjuntos de datos y tecnologías (ADMT) y puede ubicarse dentro de un sistema administrativo o técnico más grande, como un sistema de justicia penal o un proceso comercial.
La toma de decisiones automatizada implica el uso de datos como entrada para su análisis dentro de un proceso, modelo o algoritmo o para aprender y generar nuevos modelos. [7] Los sistemas ADM pueden utilizar y conectar una amplia gama de tipos y fuentes de datos según los objetivos y contextos del sistema, por ejemplo, datos de sensores para automóviles autónomos y robótica, datos de identidad para sistemas de seguridad, datos demográficos y financieros para la administración pública, registros médicos en el ámbito de la salud, registros penales en el ámbito jurídico. Esto a veces puede implicar grandes cantidades de datos y potencia informática.
La calidad de los datos disponibles y su capacidad para ser utilizados en sistemas ADM es fundamental para los resultados. A menudo es muy problemática por muchas razones. Los conjuntos de datos suelen ser muy variables; las corporaciones o los gobiernos pueden controlar datos a gran escala, estar restringidos por razones de privacidad o seguridad, ser incompletos, sesgados, limitados en términos de tiempo o cobertura, medir y describir términos de diferentes maneras y muchos otros problemas.
Para que las máquinas aprendan de los datos, a menudo se requieren grandes corpus, que pueden ser difíciles de obtener o calcular; sin embargo, cuando están disponibles, han proporcionado avances significativos, por ejemplo, en el diagnóstico de radiografías de tórax. [8]
Las tecnologías de toma de decisiones automatizada (ADMT) son herramientas digitales codificadas por software que automatizan la traducción de datos de entrada a datos de salida, lo que contribuye al funcionamiento de los sistemas de toma de decisiones automatizada. [7] Existe una amplia gama de tecnologías en uso en aplicaciones y sistemas ADM.
ADMT que involucran operaciones computacionales básicas
ADMT para evaluación y agrupamiento:
ADMT relacionados con el espacio y los flujos:
ADMT para el procesamiento de formatos de datos complejos
Otros ADMT
El aprendizaje automático (ML) implica entrenar programas informáticos mediante la exposición a grandes conjuntos de datos y ejemplos para aprender de la experiencia y resolver problemas. [2] El aprendizaje automático se puede utilizar para generar y analizar datos, así como para realizar cálculos algorítmicos, y se ha aplicado al reconocimiento de imágenes y voz, traducciones, textos, datos y simulaciones. Si bien el aprendizaje automático existe desde hace algún tiempo, se está volviendo cada vez más poderoso debido a los recientes avances en el entrenamiento de redes neuronales profundas (DNN) y los aumentos dramáticos en la capacidad de almacenamiento de datos y la potencia computacional con coprocesadores de GPU y computación en la nube. [2]
Los sistemas de aprendizaje automático basados en modelos básicos se ejecutan en redes neuronales profundas y utilizan la coincidencia de patrones para entrenar un único sistema enorme con grandes cantidades de datos generales, como texto e imágenes. Los primeros modelos tendían a empezar desde cero para cada nuevo problema; sin embargo, desde principios de la década de 2020, muchos pueden adaptarse a nuevos problemas. [9] Algunos ejemplos de estas tecnologías incluyen DALL-E (un programa de creación de imágenes) de Open AI y sus diversos modelos de lenguaje GPT , y el programa de modelos de lenguaje PaLM de Google.
La ADM se está utilizando para reemplazar o aumentar la toma de decisiones humana en organizaciones tanto del sector público como del privado por una variedad de razones, entre ellas ayudar a aumentar la consistencia, mejorar la eficiencia, reducir costos y permitir nuevas soluciones a problemas complejos. [10]
Se están realizando investigaciones y desarrollos sobre el uso de la tecnología para evaluar la calidad de los argumentos, [11] [12] [13] evaluar ensayos argumentativos [14] [15] y juzgar debates. [16] [17] [18] [19] Las posibles aplicaciones de estas tecnologías de argumentación abarcan la educación y la sociedad. Los escenarios a considerar, en este sentido, incluyen aquellos que involucran la evaluación de la argumentación y el debate conversacional , matemático , científico , interpretativo , legal y político .
En los sistemas jurídicos de todo el mundo, se están utilizando herramientas algorítmicas como los instrumentos de evaluación de riesgos (RAI) para complementar o reemplazar el juicio humano de jueces, funcionarios públicos y agentes de policía en muchos contextos. [20] En los Estados Unidos, los RAI se están utilizando para generar puntuaciones para predecir el riesgo de reincidencia en la detención preventiva y las decisiones de sentencia, [21] evaluar la libertad condicional de los presos y predecir "puntos críticos" para futuros delitos. [22] [23] [24] Estas puntuaciones pueden dar lugar a efectos automáticos o pueden utilizarse para informar las decisiones tomadas por los funcionarios dentro del sistema de justicia. [20] En Canadá, el ADM se ha utilizado desde 2014 para automatizar ciertas actividades realizadas por funcionarios de inmigración y para apoyar la evaluación de algunas solicitudes de inmigrantes y visitantes. [25]
Los sistemas de toma de decisiones automatizada se utilizan en ciertos programas informáticos para crear órdenes de compra y venta relacionadas con transacciones financieras específicas y enviarlas automáticamente a los mercados internacionales. Los programas informáticos pueden generar órdenes automáticamente basándose en un conjunto de reglas predefinidas utilizando estrategias comerciales basadas en análisis técnicos, cálculos estadísticos y matemáticos avanzados o datos de otras fuentes electrónicas.
La auditoría continua utiliza herramientas analíticas avanzadas para automatizar los procesos de auditoría . Puede ser utilizada en el sector privado por empresas comerciales y en el sector público por organizaciones gubernamentales y municipalidades. [26] A medida que la inteligencia artificial y el aprendizaje automático continúan avanzando, los contadores y auditores pueden hacer uso de algoritmos cada vez más sofisticados que toman decisiones como las que implican determinar qué es anómalo, si se debe notificar al personal y cómo priorizar las tareas asignadas al personal.
Los medios digitales, las plataformas de entretenimiento y los servicios de información ofrecen cada vez más contenido a las audiencias a través de sistemas de recomendación automatizados basados en información demográfica, selecciones previas, filtrado colaborativo o filtrado basado en contenido. [27] Esto incluye plataformas de música y video, publicaciones, información de salud, bases de datos de productos y motores de búsqueda. Muchos sistemas de recomendación también brindan cierta capacidad de acción a los usuarios para aceptar recomendaciones e incorporan bucles de retroalimentación algorítmica basados en datos basados en las acciones del usuario del sistema. [6]
Los modelos de lenguaje de aprendizaje automático a gran escala y los programas de creación de imágenes que están desarrollando empresas como OpenAI y Google en la década de 2020 tienen acceso restringido, pero es probable que tengan una aplicación generalizada en campos como la publicidad, la redacción de textos publicitarios, las imágenes de archivo y el diseño gráfico, así como en otros campos como el periodismo y el derecho. [9]
La publicidad en línea está estrechamente integrada con muchas plataformas de medios digitales, sitios web y motores de búsqueda y, a menudo, implica la entrega automatizada de anuncios publicitarios en diversos formatos. La publicidad en línea "programática" implica la automatización de la venta y entrega de publicidad digital en sitios web y plataformas a través de software en lugar de la toma de decisiones humana directa. [27] Esto a veces se conoce como el modelo de cascada que implica una secuencia de pasos a través de varios sistemas y actores: editores y plataformas de gestión de datos, datos de usuario, servidores de anuncios y sus datos de entrega, sistemas de gestión de inventario, comerciantes de anuncios e intercambios de anuncios. [27] Hay varios problemas con este sistema, incluida la falta de transparencia para los anunciantes, métricas no verificables, falta de control sobre los lugares de anuncios, seguimiento de la audiencia y preocupaciones por la privacidad. [27] Los usuarios de Internet a quienes no les gustan los anuncios han adoptado contramedidas como tecnologías de bloqueo de anuncios que permiten a los usuarios filtrar automáticamente la publicidad no deseada de los sitios web y algunas aplicaciones de Internet. En 2017, el 24% de los usuarios de Internet australianos tenían bloqueadores de anuncios. [28]
Los modelos de imágenes de inteligencia artificial de aprendizaje profundo se están utilizando para revisar radiografías y detectar la degeneración macular, una enfermedad ocular.
Los gobiernos han estado implementando tecnologías digitales para proporcionar una administración y servicios sociales más eficientes desde principios de la década de 2000, a menudo denominados gobierno electrónico . Muchos gobiernos de todo el mundo ahora están utilizando sistemas algorítmicos automatizados para perfilar y orientar políticas y servicios, incluida la vigilancia algorítmica basada en riesgos, la clasificación de vigilancia de personas como el control en el aeropuerto, la prestación de servicios basados en perfiles de riesgo en protección infantil, la prestación de servicios de empleo y el gobierno de los desempleados. [29] Una aplicación significativa de ADM en los servicios sociales se relaciona con el uso de análisis predictivos , por ejemplo, predicciones de riesgos para los niños por abuso / negligencia en la protección infantil , predicciones de reincidencia o delito en la policía y la justicia penal, predicciones de fraude fiscal / de bienestar en sistemas de cumplimiento, predicciones de desempleo de largo plazo en servicios de empleo. Históricamente, estos sistemas se basaban en análisis estadísticos estándar, sin embargo, desde principios de la década de 2000, el aprendizaje automático se ha desarrollado y desplegado cada vez más. Las cuestiones clave con el uso de ADM en los servicios sociales incluyen el sesgo, la equidad, la rendición de cuentas y la explicabilidad, que se refiere a la transparencia en torno a las razones de una decisión y la capacidad de explicar la base sobre la cual una máquina tomó una decisión. [29] Por ejemplo, la agencia federal de entrega de seguridad social de Australia, Centrelink, desarrolló e implementó un proceso automatizado para detectar y cobrar deudas que condujo a muchos casos de cobro de deudas indebidas en lo que se conoció como el esquema RoboDebt . [30]
La movilidad conectada y automatizada (CAM) implica vehículos autónomos , como automóviles sin conductor y otras formas de transporte que utilizan sistemas de toma de decisiones automatizadas para reemplazar varios aspectos del control humano del vehículo. [31] Esto puede variar desde el nivel 0 (conducción humana completa) hasta el nivel 5 (completamente autónomo). [2] En el nivel 5, la máquina puede tomar decisiones para controlar el vehículo basándose en modelos de datos y mapeo geoespacial y sensores en tiempo real y procesamiento del entorno. Los automóviles con niveles 1 a 3 ya están disponibles en el mercado en 2021. En 2016, el gobierno alemán estableció una 'Comisión de Ética sobre Conducción Automatizada y Conectada' que recomendó que se desarrollaran vehículos conectados y automatizados (CAV) si los sistemas causaban menos accidentes que los conductores humanos (balance positivo de riesgo). También proporcionó 20 reglas éticas para la adaptación de la conducción automatizada y conectada. [32] En 2020, la estrategia de la Comisión Europea sobre los vehículos autónomos recomendó que se adoptaran en Europa para reducir las muertes en las carreteras y las emisiones; sin embargo, los vehículos autónomos también plantean muchos problemas políticos, de seguridad y legales en términos de responsabilidad y toma de decisiones éticas en caso de accidentes, así como cuestiones de privacidad. [31] Las cuestiones de confianza en los vehículos autónomos y las preocupaciones de la comunidad sobre su seguridad son factores clave que deben abordarse si se quiere adoptar ampliamente los vehículos autónomos. [33]
La recopilación automatizada de datos digitales a través de sensores, cámaras, transacciones en línea y redes sociales ha ampliado significativamente el alcance, la escala y los objetivos de las prácticas e instituciones de vigilancia en los sectores gubernamentales y comerciales. [34] Como resultado, se ha producido un cambio importante desde el seguimiento selectivo de sospechosos a la capacidad de monitorear poblaciones enteras. [35] El nivel de vigilancia que ahora es posible como resultado de la recopilación automatizada de datos se ha descrito como capitalismo de vigilancia o economía de vigilancia para indicar la forma en que los medios digitales implican el seguimiento a gran escala y la acumulación de datos sobre cada interacción.
Los sistemas automatizados de toma de decisiones tienen muchas implicaciones sociales, éticas y legales. Entre las preocupaciones que se plantean se encuentran la falta de transparencia y la posibilidad de impugnación de las decisiones, las incursiones en la privacidad y la vigilancia, la exacerbación del sesgo sistémico y la desigualdad debido al sesgo de los datos y de los algoritmos , los derechos de propiedad intelectual, la difusión de información errónea a través de plataformas de medios de comunicación, la discriminación administrativa, el riesgo y la responsabilidad, el desempleo y muchas otras. [36] [37] A medida que la toma de decisiones automatizada se vuelve más omnipresente, existe una mayor necesidad de abordar los desafíos éticos para garantizar una buena gobernanza en las sociedades de la información. [38]
Los sistemas ADM suelen basarse en aprendizaje automático y algoritmos que no se pueden visualizar ni analizar fácilmente, lo que genera preocupaciones de que sean sistemas de "caja negra" que no son transparentes ni responsables. [2]
Un informe del Citizen Lab de Canadá aboga por un análisis crítico de los derechos humanos en la aplicación de la toma de decisiones automatizada en diversas áreas para garantizar que el uso de la toma de decisiones automatizada no resulte en violaciones de derechos, incluidos los derechos a la igualdad y la no discriminación; la libertad de movimiento, expresión, religión y asociación; los derechos a la privacidad y los derechos a la vida, la libertad y la seguridad de la persona. [25]
Las respuestas legislativas a la ADM incluyen:
ADM puede incorporar sesgos algorítmicos que surjan de:
Las cuestiones relacionadas con datos o algoritmos sesgados o incorrectos y las inquietudes de que algunos ADM son tecnologías de caja negra, cerradas al escrutinio o interrogatorio humano, han llevado a lo que se conoce como la cuestión de la explicabilidad, o el derecho a una explicación de las decisiones automatizadas y la IA. Esto también se conoce como IA explicable (XAI), o IA interpretable, en la que los resultados de la solución pueden ser analizados y comprendidos por humanos. Se considera que los algoritmos XAI siguen tres principios: transparencia, interpretabilidad y explicabilidad.
La toma de decisiones automatizada puede aumentar la asimetría de información entre los individuos cuyos datos alimentan el sistema y las plataformas y sistemas de toma de decisiones capaces de inferir información a partir de esos datos. Por otra parte, se ha observado que en las transacciones financieras la asimetría de información entre dos agentes de inteligencia artificial puede ser mucho menor que entre dos agentes humanos o entre agentes humanos y máquinas. [45]
Muchas disciplinas y campos académicos están dirigiendo cada vez más su atención al desarrollo, la aplicación y las implicaciones de la automatización de los medios de comunicación, entre ellos los negocios, las ciencias de la computación, la interacción hombre-computadora (HCI), el derecho, la administración pública y los medios de comunicación y las comunicaciones. La automatización de los contenidos de los medios de comunicación y de las noticias, los vídeos y otros contenidos impulsados por algoritmos a través de sistemas y plataformas de búsqueda es un foco importante de la investigación académica en los estudios de los medios de comunicación. [27]
La Conferencia ACM sobre Equidad, Responsabilidad y Transparencia (ACM FAccT) se estableció en 2018 para estudiar la transparencia y la explicabilidad en el contexto de los sistemas sociotécnicos, muchos de los cuales incluyen ADM e IA.
Los principales centros de investigación que investigan la ADM incluyen:
{{cite book}}: Mantenimiento de CS1: falta la ubicación del editor ( enlace ){{cite book}}: Mantenimiento de CS1: falta la ubicación del editor ( enlace )