La calificación automatizada de ensayos ( AES , por sus siglas en inglés) es el uso de programas informáticos especializados para asignar calificaciones a ensayos escritos en un entorno educativo. Se trata de una forma de evaluación educativa y una aplicación del procesamiento del lenguaje natural . Su objetivo es clasificar un gran conjunto de entidades textuales en un pequeño número de categorías discretas, correspondientes a las posibles calificaciones, por ejemplo, los números del 1 al 6. Por lo tanto, puede considerarse un problema de clasificación estadística .
Varios factores han contribuido al creciente interés en los sistemas educativos académicos, entre ellos el costo, la rendición de cuentas, los estándares y la tecnología. El aumento de los costos de la educación ha generado presión para exigir que el sistema educativo rinda cuentas de los resultados mediante la imposición de estándares. El avance de la tecnología de la información promete medir los logros educativos a un costo reducido.
El uso de AES para pruebas de alto riesgo en educación ha generado una reacción negativa significativa, con opositores que señalan investigaciones que indican que las computadoras aún no pueden calificar la escritura con precisión y argumentan que su uso para tales fines promueve la enseñanza de la escritura de manera reductiva (es decir, enseñar para el examen ).
La mayoría de los resúmenes históricos de AES rastrean los orígenes del campo hasta el trabajo de Ellis Batten Page . [1] En 1966, defendió [2] la posibilidad de calificar ensayos por computadora, y en 1968 publicó [3] su exitoso trabajo con un programa llamado Project Essay Grade (PEG). Con la tecnología de esa época, la calificación de ensayos por computadora no habría sido rentable, [4] por lo que Page abandonó sus esfuerzos durante aproximadamente dos décadas. Finalmente, Page vendió PEG a Measurement Incorporated .
En 1990, las computadoras de escritorio se habían vuelto tan poderosas y tan extendidas que el AES era una posibilidad práctica. Ya en 1982, un programa UNIX llamado Writer's Workbench podía ofrecer consejos sobre puntuación, ortografía y gramática. [5] En colaboración con varias empresas (en particular Educational Testing Service), Page actualizó PEG y realizó algunas pruebas exitosas a principios de los años 1990. [6]
Peter Foltz y Thomas Landauer desarrollaron un sistema que utiliza un motor de puntuación llamado Intelligent Essay Assessor (IEA). El IEA se utilizó por primera vez para calificar ensayos en 1997 para sus cursos de pregrado. [7] Ahora es un producto de Pearson Educational Technologies y se utiliza para calificar en una serie de productos comerciales y exámenes estatales y nacionales.
IntelliMetric es el motor AES de Vantage Learning. Su desarrollo comenzó en 1996. [8] Se utilizó por primera vez con fines comerciales para calificar ensayos en 1998. [9]
Educational Testing Service ofrece "e-rater", un programa de calificación automática de ensayos. Se utilizó por primera vez con fines comerciales en febrero de 1999. [10] Jill Burstein fue la líder del equipo en su desarrollo. El servicio de evaluación de redacción en línea Criterion de ETS utiliza el motor e-rater para proporcionar tanto calificaciones como comentarios específicos.
Lawrence Rudner ha trabajado con la puntuación bayesiana y ha desarrollado un sistema llamado BETSY (Bayesian Essay Test Scoring System). [11] Algunos de sus resultados se han publicado en forma impresa o en línea, pero todavía ningún sistema comercial incorpora BETSY.
Bajo la dirección de Howard Mitzel y Sue Lottridge, Pacific Metrics desarrolló un motor de puntuación automática de respuesta construida, CRASE. La tecnología de Pacific Metrics, que actualmente utilizan varios departamentos de educación estatales y una subvención de evaluación mejorada financiada por el Departamento de Educación de los EE. UU., se ha utilizado en entornos de evaluación formativa y sumativa a gran escala desde 2007.
Measurement Inc. adquirió los derechos de PEG en 2002 y ha continuado desarrollándolo. [12]
En 2012, la Fundación Hewlett patrocinó una competencia en Kaggle llamada Premio de Evaluación Automatizada de Estudiantes (ASAP). [13] 201 participantes del desafío intentaron predecir, utilizando AES, las puntuaciones que los evaluadores humanos darían a miles de ensayos escritos en ocho indicaciones diferentes. La intención era demostrar que AES puede ser tan confiable como los evaluadores humanos, o más. La competencia también organizó una demostración separada entre nueve proveedores de AES en un subconjunto de los datos de ASAP. Aunque los investigadores informaron que la puntuación automatizada de ensayos era tan confiable como la puntuación humana, [14] esta afirmación no fue corroborada por ninguna prueba estadística porque algunos de los proveedores exigieron que no se realizaran tales pruebas como condición previa para su participación. [15] Además, la afirmación de que el Estudio Hewlett demostró que AES puede ser tan confiable como los evaluadores humanos ha sido fuertemente cuestionada desde entonces, [16] [17] incluso por Randy E. Bennett , presidente de la Cátedra Norman O. Frederiksen en Innovación en Evaluación en el Servicio de Evaluación Educativa . [18] Algunas de las principales críticas al estudio han sido que cinco de los ocho conjuntos de datos consistían en párrafos en lugar de ensayos, cuatro de los ocho conjuntos de datos fueron calificados por lectores humanos solo por el contenido en lugar de por la capacidad de escritura, y que en lugar de medir a los lectores humanos y las máquinas AES contra la "puntuación real", el promedio de las puntuaciones de los dos lectores, el estudio empleó un constructo artificial, la "puntuación resuelta", que en cuatro conjuntos de datos consistía en la más alta de las dos puntuaciones humanas si había un desacuerdo. Esta última práctica, en particular, dio a las máquinas una ventaja injusta al permitirles redondear hacia arriba para estos conjuntos de datos. [16]
En 1966, Page planteó la hipótesis de que, en el futuro, el juez basado en computadora estaría mejor correlacionado con cada juez humano que los otros jueces humanos. [2] A pesar de criticar la aplicabilidad de este enfoque a la calificación de ensayos en general, esta hipótesis fue apoyada para calificar respuestas de texto libre a preguntas cortas, como las típicas del sistema GCSE británico. [19] Los resultados del aprendizaje supervisado demuestran que los sistemas automáticos funcionan bien cuando la calificación por parte de diferentes profesores humanos coincide. La agrupación no supervisada de respuestas mostró que los trabajos excelentes y los trabajos débiles formaban grupos bien definidos, y la regla de calificación automatizada para estos grupos funcionó bien, mientras que las calificaciones otorgadas por profesores humanos para el tercer grupo ("mixto") pueden ser controvertidas, y la confiabilidad de cualquier evaluación de trabajos del grupo "mixto" a menudo puede ser cuestionada (tanto humana como basada en computadora). [19]
Según una encuesta reciente, [20] los sistemas AES modernos intentan puntuar distintas dimensiones de la calidad de un ensayo para ofrecer retroalimentación a los usuarios. Estas dimensiones incluyen los siguientes elementos:
Desde el principio, el procedimiento básico de AES ha sido empezar con un conjunto de ensayos de entrenamiento que han sido cuidadosamente calificados a mano. [21] El programa evalúa las características superficiales del texto de cada ensayo, como el número total de palabras, el número de cláusulas subordinadas o la proporción de letras mayúsculas y minúsculas, cantidades que se pueden medir sin necesidad de intervención humana. A continuación, construye un modelo matemático que relaciona estas cantidades con las puntuaciones que recibieron los ensayos. El mismo modelo se aplica después para calcular las puntuaciones de los nuevos ensayos.
Recientemente, Isaac Persing y Vincent Ng crearon un modelo matemático de este tipo [22] que no solo evalúa los ensayos en función de las características mencionadas anteriormente, sino también de la solidez de sus argumentos. Evalúa diversas características del ensayo, como el nivel de acuerdo del autor y las razones para ello, la adherencia al tema del mensaje, la ubicación de los componentes del argumento (afirmación principal, afirmación, premisa), los errores en los argumentos, la cohesión en los argumentos, entre otras características. A diferencia de los otros modelos mencionados anteriormente, este modelo se acerca más a duplicar la percepción humana al calificar los ensayos. Debido a la creciente popularidad de las redes neuronales profundas, se han adoptado enfoques de aprendizaje profundo para la calificación automática de ensayos, obteniendo generalmente resultados superiores, a menudo superando los niveles de acuerdo interhumano. [23]
Los distintos programas AES difieren en las características específicas de la superficie que miden, la cantidad de ensayos necesarios en el conjunto de entrenamiento y, lo que es más importante, en la técnica de modelado matemático. Los primeros intentos utilizaban regresión lineal . Los sistemas modernos pueden utilizar regresión lineal u otras técnicas de aprendizaje automático, a menudo en combinación con otras técnicas estadísticas, como el análisis semántico latente [24] y la inferencia bayesiana [11] .
La tarea de calificación automatizada de ensayos también se ha estudiado en un contexto interdisciplinario utilizando modelos de aprendizaje automático, donde los modelos se entrenan con ensayos escritos para un tema y se prueban con ensayos escritos para otro tema. Los enfoques exitosos en el escenario interdisciplinario se basan en redes neuronales profundas [25] o modelos que combinan características profundas y superficiales. [26]
Todo método de evaluación debe ser juzgado en función de su validez, imparcialidad y fiabilidad. [27] Un instrumento es válido si mide realmente el rasgo que pretende medir. Es justo si, en efecto, no penaliza ni privilegia a ninguna clase de personas. Es fiable si su resultado es repetible, incluso cuando se alteran factores externos irrelevantes.
Antes de que aparecieran las computadoras, los ensayos de alto riesgo solían recibir calificaciones de dos evaluadores humanos capacitados. Si las calificaciones diferían en más de un punto, un tercer evaluador más experimentado resolvería el desacuerdo. En este sistema, hay una manera fácil de medir la confiabilidad: mediante el acuerdo entre evaluadores . Si los evaluadores no coinciden sistemáticamente en un punto, es posible que su capacitación sea deficiente. Si un evaluador discrepa sistemáticamente con la forma en que otros evaluadores analizan los mismos ensayos, es probable que necesite capacitación adicional.
Se han propuesto varias estadísticas para medir el acuerdo entre evaluadores, entre ellas, el porcentaje de acuerdo, el π de Scott , el κ de Cohen , el α de Krippendorf , el coeficiente de correlación de Pearson r , el coeficiente de correlación de rangos de Spearman ρ y el coeficiente de correlación de concordancia de Lin .
El porcentaje de acuerdo es una estadística simple aplicable a escalas de calificación con puntuaciones de 1 a n, donde normalmente 4 ≤ n ≤ 6. Se informa como tres cifras, cada una un porcentaje del número total de ensayos calificados: acuerdo exacto (los dos evaluadores dieron al ensayo la misma puntuación), acuerdo adyacente (los evaluadores difirieron en como máximo un punto; esto incluye el acuerdo exacto) y desacuerdo extremo (los evaluadores difirieron en más de dos puntos). Se descubrió que los calificadores humanos expertos lograron un acuerdo exacto en el 53% al 81% de todos los ensayos, y un acuerdo adyacente en el 97% al 100%. [28]
Ahora es posible aplicar el acuerdo entre evaluadores para medir el rendimiento de la computadora. Se entrega un conjunto de ensayos a dos evaluadores humanos y a un programa AES. Si las puntuaciones asignadas por la computadora coinciden con las de uno de los evaluadores humanos y los evaluadores coinciden entre sí, el programa AES se considera confiable. Como alternativa, a cada ensayo se le asigna una "puntuación verdadera" tomando el promedio de las puntuaciones de los dos evaluadores humanos, y se comparan los dos evaluadores humanos y la computadora en función de su coincidencia con la puntuación verdadera.
Algunos investigadores han informado de que sus sistemas AES pueden, de hecho, obtener mejores resultados que un ser humano. Page hizo esta afirmación en relación con PEG en 1994. [6] Scott Elliot dijo en 2003 que IntelliMetric normalmente superaba a los evaluadores humanos. [8] Sin embargo, las máquinas AES parecen ser menos fiables que los lectores humanos para cualquier tipo de prueba de escritura compleja. [29]
En la práctica actual, las evaluaciones de alto riesgo, como el GMAT, siempre son calificadas por al menos un profesional humano. Se utiliza el sistema AES en lugar de un segundo evaluador. Un evaluador humano resuelve cualquier desacuerdo de más de un punto. [30]
El AES ha sido criticado por diversos motivos. Yang et al . mencionan "la excesiva dependencia de las características superficiales de las respuestas, la insensibilidad al contenido de las respuestas y a la creatividad, y la vulnerabilidad a nuevos tipos de trampas y estrategias para realizar exámenes". [30] A varios críticos les preocupa que la motivación de los estudiantes se vea disminuida si saben que ningún ser humano leerá sus escritos. [31] Entre las críticas más reveladoras se encuentran los informes de ensayos intencionalmente incoherentes que reciben altas puntuaciones. [32]
El 12 de marzo de 2013, HumanReaders.Org lanzó una petición en línea , "Profesionales contra la calificación automática de ensayos de estudiantes en evaluaciones de alto riesgo". En cuestión de semanas, la petición obtuvo miles de firmas, incluida la de Noam Chomsky , [33] y fue citada en varios periódicos, incluido The New York Times , [34] y en varios blogs sobre educación y tecnología. [35]
La petición describe el uso de AES para pruebas de alto riesgo como "trivial", "reductivo", "inexacto", "no diagnóstico", "injusto" y "secreto". [36]
En un resumen detallado de la investigación sobre AES, el sitio de la petición señala: "LOS RESULTADOS DE LA INVESTIGACIÓN MUESTRAN QUE nadie (estudiantes, padres, maestros, empleadores, administradores, legisladores) puede confiar en la calificación de ensayos por parte de máquinas... Y QUE la calificación por máquina no mide, y por lo tanto no promueve, actos auténticos de escritura". [37]
La petición aborda específicamente el uso de AES para pruebas de alto riesgo y no dice nada sobre otros posibles usos.
La mayoría de los recursos para la calificación automática de ensayos son propietarios.