La evaluación de la escritura se refiere a un área de estudio que contiene teorías y prácticas que guían la evaluación del desempeño o potencial de un escritor a través de una tarea de escritura. La evaluación de la escritura puede considerarse una combinación de estudios de composición y teoría de la medición dentro de la evaluación educativa . [1] La evaluación de la escritura también puede referirse a las tecnologías y prácticas utilizadas para evaluar la escritura y el aprendizaje de los estudiantes. [2] Una consecuencia importante de la evaluación de la escritura es que el tipo y la manera de la evaluación pueden afectar la instrucción de la escritura, con consecuencias para el carácter y la calidad de esa instrucción. [3]
La evaluación de la escritura comenzó como una práctica en el aula durante las dos primeras décadas del siglo XX, aunque durante esta época también surgieron pruebas estandarizadas y de alto riesgo . [4] Durante la década de 1930, College Board pasó de utilizar la evaluación directa de la escritura a la evaluación indirecta porque estas pruebas eran más rentables y se creía que eran más confiables. [4] A partir de la década de 1950, más estudiantes de diversos orígenes asistían a colegios y universidades, por lo que los administradores hicieron uso de pruebas estandarizadas para decidir dónde debían ubicarse estos estudiantes, qué y cómo enseñarles, y cómo medir si aprendían qué. necesitaban aprender. [5] Las evaluaciones de escritura a gran escala a nivel estatal que se desarrollaron durante este tiempo combinaron la evaluación de escritura directa con elementos de opción múltiple , una práctica que sigue siendo dominante hoy en día en los programas de pruebas a gran escala de EE. UU., como el SAT y el GRE . [4] Estas evaluaciones generalmente se llevan a cabo fuera del aula, a nivel estatal y nacional. Sin embargo, a medida que más y más estudiantes fueron colocados en cursos basados en sus puntajes en las pruebas estandarizadas, los profesores de escritura comenzaron a notar un conflicto entre lo que se evaluaba a los estudiantes ( gramática , uso y vocabulario ) y lo que los profesores realmente enseñaban: el proceso de escritura. y revisión. [5] Debido a esta división, los educadores comenzaron a impulsar evaluaciones de escritura que fueron diseñadas e implementadas a nivel local, programático y de aula. [5] [6] A medida que los profesores de escritura comenzaron a diseñar evaluaciones locales, los métodos de evaluación comenzaron a diversificarse, lo que resultó en pruebas de ensayo cronometradas, rúbricas diseñadas localmente y portafolios. Además de los niveles programático y de aula, la evaluación de la escritura también tiene una gran influencia en los centros de evaluación de la escritura y en centros de apoyo académico similares. [7]
Debido a que la evaluación de la escritura se utiliza en múltiples contextos , la historia de la evaluación de la escritura se puede rastrear examinando conceptos y situaciones específicos que provocan cambios importantes en las teorías y las prácticas. Los académicos en evaluación de la escritura no siempre están de acuerdo sobre el origen de la evaluación de la escritura.
Se ha descrito que la historia de la evaluación de la escritura consta de tres cambios importantes en los métodos utilizados para evaluar la escritura. [5] La primera ola de evaluación de la escritura (1950-1970) buscaba pruebas objetivas con medidas indirectas de evaluación. La segunda ola (1970-1986) se centró en pruebas calificadas de manera integral donde se comenzó a evaluar la escritura real de los estudiantes. Y la tercera ola (desde 1986) pasó a evaluar una colección de trabajos de los estudiantes (es decir, evaluación de portafolios) y evaluación programática.
La publicación de Factores en los juicios sobre la capacidad de escritura en 1961 por Diederich, French y Carlton también se ha caracterizado por marcar el nacimiento de la evaluación de la escritura moderna. [8] Diederich et al. basó gran parte de su libro en investigaciones realizadas a través del Servicio de Pruebas Educativas (ETS) durante la década anterior. Este libro es un intento de estandarizar la evaluación de la escritura y se encarga de establecer una base de investigación en evaluación de la escritura. [9]
Los conceptos de validez y confiabilidad se han ofrecido como una especie de heurística para comprender los cambios en las prioridades en la evaluación de la escritura [10] , así como para interpretar lo que se entiende como mejores prácticas en la evaluación de la escritura. [11]
En la primera ola de evaluación de la escritura, el énfasis está en la confiabilidad : [12] la confiabilidad confronta preguntas sobre la consistencia de una prueba. En esta ola, la preocupación central era evaluar la escritura con la mejor previsibilidad con la menor cantidad de costo y trabajo.
El cambio hacia la segunda ola marcó un movimiento hacia la consideración de principios de validez . La validez confronta preguntas sobre la idoneidad y efectividad de una prueba para el propósito dado. Los métodos de esta ola estaban más preocupados por la validez de constructo de una prueba : si el material generado por una prueba es una medida apropiada de lo que la prueba pretende medir. Los profesores comenzaron a ver una incongruencia entre el material que se les pedía para medir la escritura y el material que los profesores pedían a los estudiantes que escribieran. La puntuación holística , defendida por Edward M. White, surgió en esta ola. Es un método de evaluación en el que se solicita la escritura de los estudiantes para medir su capacidad de escritura. [13]
La tercera ola de evaluación de la escritura surge con un interés continuo en la validez de los métodos de evaluación. Esta ola comenzó a considerar una definición ampliada de validez que incluye cómo la evaluación del portafolio contribuye al aprendizaje y la enseñanza. En esta ola, la evaluación de portafolios surge para enfatizar teorías y prácticas en los estudios de composición y escritura, como la revisión , la redacción y el proceso .
Las evaluaciones de escritura indirecta suelen consistir en pruebas de opción múltiple sobre gramática, uso y vocabulario. [5] Los ejemplos incluyen pruebas estandarizadas de alto riesgo como ACT , SAT y GRE , que los colegios y universidades utilizan con mayor frecuencia para fines de admisión . Otras evaluaciones indirectas, como Compass, se utilizan para colocar a los estudiantes en cursos de escritura de recuperación o convencionales. Las evaluaciones de escritura directa, como Writeplacer ESL (parte de Accuplacer) o una prueba de ensayo cronometrada, requieren al menos una muestra de escritura del estudiante y muchos académicos en evaluación de escritura las consideran más válidas que las pruebas indirectas porque evalúan muestras reales de escritura. [5] La evaluación del portafolio, que generalmente consiste en varios escritos de los estudiantes escritos a lo largo de un semestre, comenzó a reemplazar los ensayos cronometrados a fines de los años 1980 y principios de los 1990. La evaluación del portafolio se considera incluso más válida que las pruebas de ensayo cronometradas porque se centra en múltiples muestras de escritos de los estudiantes que han sido compuestos en el contexto auténtico del aula. Los portafolios permiten a los evaluadores examinar múltiples muestras de escritos de estudiantes y múltiples borradores de un solo ensayo. [5]
Los métodos de evaluación de la escritura varían según el contexto y el tipo de evaluación. La siguiente es una lista incompleta de evaluaciones de escritura que se administran con frecuencia:
La evaluación del portafolio se utiliza generalmente para evaluar lo que los estudiantes han aprendido al final de un curso o durante un período de varios años. Los portafolios del curso constan de múltiples muestras de escritura de los estudiantes y una carta o ensayo reflexivo en el que los estudiantes describen su escritura y trabajo para el curso. [5] [14] [15] [16] Los "portafolios de exhibición" contienen borradores finales de los escritos de los estudiantes y los "portafolios de procesos" contienen múltiples borradores de cada escrito. [17] Tanto los portafolios impresos como los electrónicos pueden ser portafolios de exhibición o de proceso, aunque los portafolios electrónicos generalmente contienen hipervínculos desde el ensayo reflexivo o la carta a muestras del trabajo de los estudiantes y, a veces, a fuentes externas. [15] [17]
Se desarrollaron pruebas de ensayo cronometradas como una alternativa a las evaluaciones de escritura indirectas de opción múltiple. Las pruebas de ensayo cronometradas se utilizan a menudo para colocar a los estudiantes en cursos de escritura apropiados para su nivel de habilidad. Estas pruebas generalmente están supervisadas , lo que significa que las pruebas se llevan a cabo en un lugar específico en el que a los estudiantes se les pide que escriban en respuesta dentro de un límite de tiempo establecido. Tanto el SAT como el GRE contienen partes de ensayo cronometradas.
Una rúbrica es una herramienta utilizada en la evaluación de la escritura que se puede utilizar en varios contextos de escritura. Una rúbrica consta de un conjunto de criterios o descripciones que guían a un evaluador para calificar o calificar a un escritor. Los orígenes de las rúbricas se remontan a los primeros intentos en educación de estandarizar y escalar la escritura a principios del siglo XX. Ernest C. Noyes aboga en noviembre de 1912 por un cambio hacia prácticas de evaluación que tuvieran una base más científica. Una de las escalas originales utilizadas en educación fue desarrollada por Milo B. Hillegas en A Scale for the Measurement of Quality in English Composition by Young People . Esta escala se conoce comúnmente como Escala de Hillegas. Los administradores utilizaron la escala Hillegas y otras escalas utilizadas en educación para comparar el progreso de las escuelas. [18]
En 1961, Diederich, French y Carlton del Educational Testing Service (ETS) publicaron Factores en los juicios para la capacidad de escritura, una rúbrica compilada a partir de una serie de evaluadores cuyos comentarios fueron categorizados y condensados en una rúbrica de cinco factores: [19]
A medida que las rúbricas comenzaron a usarse en el aula, los maestros comenzaron a abogar por que se negociaran criterios con los estudiantes para que estos pudieran reclamar cómo serían evaluados. Académicos como Chris Gallagher y Eric Turley, [20] Bob Broad, [21] y Asao Inoue [22] (entre muchos) han defendido que el uso eficaz de las rúbricas proviene de criterios locales, contextuales y negociados.
Críticas:
La introducción de la rúbrica ha suscitado debate entre los estudiosos. Algunos educadores han argumentado que las rúbricas se basan en afirmaciones objetivas falsas y, por tanto, en la subjetividad. [23] Eric Turley y Chris Gallagher argumentaron que las rúbricas impuestas por el estado son una herramienta para la rendición de cuentas en lugar de mejoras. Muchas veces las rúbricas se originan fuera del aula a partir de autores sin relación con los propios estudiantes y luego son interpretadas y adaptadas por otros educadores. [24] Turley y Gallagher señalan que "la ley de disminución distal dice que cualquier herramienta educativa se vuelve menos útil desde el punto de vista de la instrucción - y más potencialmente dañina para la integridad educativa - cuanto más lejos del aula se origina o hacia donde viaja". [24] Continúan diciendo que debe interpretarse como una herramienta para que los escritores midan un conjunto de valores de consenso, y no debe sustituirse por una respuesta comprometida.
Un estudio de Stellmack et al evaluó la percepción y aplicación de rúbricas con criterios acordados. Los resultados encontraron que cuando diferentes calificadores evaluaron el mismo borrador, el evaluador que ya había brindado comentarios anteriormente tenía más probabilidades de notar una mejora. Los investigadores concluyeron que una rúbrica que tuviera mayor confiabilidad daría mejores resultados en su "procedimiento de revisión-revisión-envío". [25]
Antirúbrica : Las rúbricas miden la calidad de la escritura y reflejan las creencias de un individuo sobre los valores retóricos de un departamento o institución en particular. Pero las rúbricas carecen de detalles sobre cómo un instructor puede apartarse de estos valores. Bob Broad señala que un ejemplo de una propuesta alternativa a la rúbrica es el [26] “mapeo de criterios dinámicos”.
El estándar único de evaluación plantea más preguntas, ya que Elbow aborda la construcción social del valor en sí misma. Propone un proceso comunitario despojado del requisito de acuerdo que permitiría a la clase “ver acuerdos potenciales ( acuerdos no forzados en su pensamiento) y al mismo tiempo ayudarles a articular aquello en lo que no están de acuerdo”. [27] Propone que la calificación podría adoptar una lente multidimensional donde se abre el potencial para una "buena escritura". Señala que al hacerlo, una rúbrica dimensional singular intenta evaluar un desempeño multidimensional. [27]
Las pruebas de opción múltiple contienen preguntas sobre uso , gramática y vocabulario . Los exámenes estandarizados como SAT, ACT y GRE se utilizan generalmente para la admisión a la universidad o a la escuela de posgrado. Otras pruebas, como Compass y Accuplacer, generalmente se utilizan para colocar a los estudiantes en cursos de recuperación o de escritura convencionales.
La puntuación automatizada de ensayos (AES) es el uso de prácticas de evaluación no humanas asistidas por computadora para calificar, calificar o calificar tareas de escritura.
Algunos estudiosos de la evaluación de la escritura centran sus investigaciones en la influencia de la raza en el desempeño en las evaluaciones de la escritura. Las becas en evaluación de raza y escritura buscan estudiar cómo las categorías de raza y las percepciones de la raza continúan dando forma a los resultados de la evaluación de escritura. Sin embargo, algunos estudiosos de la evaluación de la escritura reconocen que el racismo en el siglo XXI ya no es explícito , [28] pero defienden un racismo "silencioso" en las prácticas de evaluación de la escritura en las que las desigualdades raciales en la evaluación de la escritura generalmente se justifican por razones no raciales. [29] Estos académicos abogan por nuevos desarrollos en la evaluación de la escritura, en los que las intersecciones entre raza y evaluación de la escritura pasen a la vanguardia de las prácticas de evaluación.