stringtranslate.com

Prueba de cloze

Un estudiante arrastra términos en una pizarra inteligente para completar el texto vacío

Una prueba cloze (también prueba de oclusión o prueba de eliminación de espacios en blanco ) es un ejercicio, prueba o evaluación en el que se oculta una parte del texto y se le pide al participante que complete la parte oculta del texto. Las pruebas cloze requieren la capacidad de comprender el contexto y el vocabulario para identificar el idioma o la parte del discurso correctos que pertenecen a los pasajes eliminados. Este ejercicio se administra comúnmente para la evaluación del aprendizaje y la enseñanza de lenguas maternas y segundas.

La palabra cloze se deriva de closure en la teoría de la Gestalt . El ejercicio fue descrito por primera vez por Wilson L. Taylor en 1953. [1]

Se pueden eliminar palabras del texto en cuestión de manera mecánica (cada enésima palabra) o de manera selectiva, dependiendo exactamente de qué aspecto se pretende evaluar. La metodología es objeto de una extensa literatura académica; [2] no obstante, los profesores suelen idear pruebas ad hoc.

Ejemplos

Un profesor de idiomas puede dar el siguiente pasaje a los estudiantes:

Hoy fui a la tienda y compré leche y huevos. Sabía que iba a llover, pero olvidé llevarme mis ________ y ​​terminé mojándome en el camino.

Los estudiantes deberán completar los espacios en blanco con las palabras que mejor completen el pasaje. El contexto en términos de lenguaje y contenido es esencial en la mayoría de las pruebas cloze, si no en todas. El primer espacio en blanco está precedido por "the"; por lo tanto, debe seguir un sustantivo , un adjetivo o un adverbio . Sin embargo, una conjunción sigue al espacio en blanco; la oración no sería gramaticalmente correcta si en el espacio en blanco hubiera algo que no fuera un sustantivo. Las palabras "milk and eggs" son importantes para decidir qué sustantivo poner en el espacio en blanco; "supermarket" es una posible respuesta; sin embargo, dependiendo del estudiante, el primer espacio en blanco podría ser store , markets , shop , shops , market o tendero mientras que umbrella , brolly o raincoat podrían encajar en el segundo. Un posible pasaje completo sería:

Hoy fui al supermercado y compré leche y huevos. Sabía que iba a llover, pero olvidé llevar el paraguas y terminé mojándome en el camino.

Además de usarse para probar la fluidez lingüística, una prueba cloze también se puede utilizar para probar el conocimiento fáctico, por ejemplo:

________ es el catabolismo anaeróbico de la glucosa.

Las posibles respuestas incluirían entonces la fermentación del ácido láctico , la glucólisis anaeróbica y la respiración anaeróbica .

Evaluación

La definición de éxito en una prueba cloze varía según los objetivos generales que se persigan con el ejercicio. La evaluación puede depender de si el ejercicio es objetivo (es decir, se les da a los estudiantes una lista de palabras para usar en una prueba cloze) o subjetivo (es decir, los estudiantes deben completar una prueba cloze con palabras que harían que una oración dada sea gramaticalmente correcta).

Vi a un hombre dejar su chaqueta sobre un charco para una mujer que cruzaba la calle. Me pareció muy ______.

Dado el pasaje anterior, las respuestas de los estudiantes pueden variar según sus habilidades de vocabulario y sus opiniones personales. Sin embargo, la ubicación del espacio en blanco al final de la oración restringe las posibles palabras que pueden completar la oración; después de un adverbio y terminando la oración, la palabra es más probable que sea un adjetivo. Por ejemplo, romántico, caballeroso o galante pueden ocupar el espacio en blanco, así como tonto o cursi . Usando esas respuestas, un maestro puede pedirles a los estudiantes que reflexionen sobre las opiniones extraídas del espacio en blanco dado.

Investigaciones recientes que utilizan seguimiento ocular han postulado que los elementos de relleno de espacios en blanco donde se da una selección de palabras como opciones pueden estar probando diferentes tipos de habilidades de lectura dependiendo de las habilidades lingüísticas de los participantes que toman la prueba. [3] Se sugiere que los examinados de menor capacidad tienen más probabilidades de concentrarse en la información contenida en las palabras que rodean inmediatamente el espacio, mientras que se cree que los examinados de mayor capacidad pueden usar una ventana de contexto más amplia , lo que también es cierto para los modelos de lenguaje grande más capaces , como ChatGPT , en contraste con los modelos más antiguos menos capaces.

Varios de los problemas metodológicos señalados por los investigadores en relación con el tipo abierto de preguntas de relleno (los lectores deben proporcionar una palabra correcta de la memoria de largo plazo, cómo puntuar respuestas aceptables que no sean el reemplazo exacto, etc.) pueden resolverse mediante el uso de preguntas de relleno de opción múltiple cuidadosamente diseñadas. Véase un ejemplo de prueba y actividad práctica de un estudio piloto en una comunidad rural de América Latina. [4] Mostow y colaboradores también demostraron que este enfoque es práctico e informativo. [5]

Implementación

Además de su uso en pruebas, la eliminación de espacios en blanco se puede utilizar en el aprendizaje, en particular en el aprendizaje de idiomas , pero también en el aprendizaje de hechos. Esto se puede hacer de forma manual, por ejemplo, cubriendo secciones de un texto con papel o resaltando secciones de texto con un resaltador y luego cubriendo la línea con una regla de color del color complementario (por ejemplo, una regla roja para un resaltador verde) de modo que el texto resaltado desaparezca; esto es popular en Japón, por ejemplo [ cita requerida ] . La eliminación de espacios en blanco también se puede utilizar como parte del software de repetición espaciada . Por ejemplo, las aplicaciones SuperMemo y Anki cuentan con la función de creación semiautomática de pruebas de espacios en blanco.

Programar un software que acepte todos los sinónimos de una palabra como respuestas correctas válidas para una prueba cloze es un desafío, ya que se deben considerar todos los sinónimos potenciales. Un concepto importante que se aplica durante la creación automática de pruebas cloze por software es la capacidad de clozar palabras. [6] La capacidad de clozar palabras se define como: "¿Con qué frecuencia los participantes que conocen esta palabra la adivinan correctamente cuando está clozada en una oración que no han visto antes?"

Las palabras que tienen una gran cantidad de sinónimos tendrán un puntaje de clozabilidad bajo, ya que la probabilidad de que la palabra dada sea adivinada correctamente es menor. Las palabras que son específicas y tienen una baja cantidad de sinónimos tendrán un puntaje de clozabilidad alto.

La eliminación de espacios en blanco también se puede aplicar a un organizador gráfico , en el que se presenta un diagrama, un mapa, una cuadrícula o una imagen y se deben usar pistas contextuales para completar algunas etiquetas. [7] En particular, al aprender un tema con muchas imágenes, como la anatomía, un usuario de Anki puede emplear una oclusión de imagen para ocluir partes de una imagen. [8]

Comparación con otras metodologías de prueba

Glover, 1989, comparó diferentes formas de recordar y su eficacia después de que transcurriera un tiempo para que se produjera el olvido. Glover se refirió a las pruebas de relleno como recuerdo con claves, que se encontró que eran menos eficaces que las pruebas de recuerdo libre (se le daba una clave genérica al alumno, se esperaba que el alumno recordara todo lo que sabía), pero más eficaces que las pruebas de reconocimiento. [9]

Procesamiento del lenguaje natural

La prueba cloze se utiliza a menudo como una tarea de evaluación en el procesamiento del lenguaje natural (PLN) para evaluar el rendimiento de los modelos de lenguaje entrenados . [10] Las tareas tienen algunas variantes diferentes, como predecir la respuesta para el espacio en blanco con [11] y sin [12] proporcionando las opciones correctas, predecir la oración final de una historia o pasaje, [13] etc. Desde el diseño del codificador BERT , también se utiliza en modelos de lenguaje de preentrenamiento, en cuyo caso se conoce como modelado de lenguaje enmascarado.

Véase también

Referencias

  1. ^ Taylor, WL (1953). "Procedimiento de cloze: una nueva herramienta para medir la legibilidad". Journalism Quarterly . 30 (4): 415–433. doi :10.1177/107769905303000401. S2CID  206666846.
  2. ^ Sachs, J.; Tung, P.; Lam, R. (1997). "Cómo construir una prueba cloze: lecciones de la prueba de modelos de teoría de la medición". Perspectivas . 9 . Universidad de la Ciudad de Hong Kong.
  3. ^ McCray, Gareth; Brunfaut, Tineke (noviembre de 2016). "Investigación del constructo medido por ítems de relleno de espacios en blanco almacenados: evidencia del seguimiento ocular". Language Testing . 35 : 51–73. doi : 10.1177/0265532216677105 .
  4. ^ Chireac, SM.; Francis, N. y McClure, J. (2019). “Conciencia de la forma y el patrón en la evaluación de la alfabetización: aplicaciones en el aula para la primera y la segunda lengua”. The Reading Matrix , 19 (1), 20—34.
  5. ^ Mostow, J.; Huang, Y.-T.; Jang, H.-J.; Weinstein, A.; Valeri, J. y Gates, D. (2017). Desarrollo, evaluación y refinamiento de un generador automático de preguntas diagnósticas de opción múltiple para evaluar la comprensión de los niños mientras leen. Natural Language Engineering, 23, 245–294.
  6. ^ "Capacidad de cierre de palabras - Mandarin Mosaic". mandarinmosaic.com . Consultado el 18 de junio de 2024 .
  7. ^ Robinson, ME (1 de enero de 1974). "Procedimiento de cierre y pruebas de comprensión espacial". Área . 6 (2): 137–142. JSTOR  20000851.
  8. ^ "Oclusión de imagen mejorada para Anki 2.1 (alfa) - AnkiWeb". ankiweb.net . Consultado el 7 de julio de 2020 .
  9. ^ Glover, John. "El fenómeno de las pruebas: no ha desaparecido pero está casi olvidado" (PDF) . Journal of Educational Psychology : 5, 6.
  10. ^ "Preguntas y respuestas en PNL".
  11. ^ "¿Modelos de lenguaje como bases de conocimiento?" (PDF) . Métodos empíricos en el procesamiento del lenguaje natural .
  12. ^ Lewis, Patrick; Denoyer, Ludovic; Riedel, Sebastian (agosto de 2019). "Respuesta a preguntas no supervisada mediante traducción cloze" (PDF) . Investigación de Facebook : 4896–4910. arXiv : 1906.04980 . doi :10.18653/v1/P19-1484. S2CID  186206974.
  13. ^ "Prueba de relleno de historias y corpus de ROCStories".

Más información