La evaluación de la escritura se refiere a un área de estudio que contiene teorías y prácticas que guían la evaluación del desempeño o potencial de un escritor a través de una tarea de escritura. La evaluación de la escritura puede considerarse una combinación de estudios de composición y teoría de la medición dentro de la evaluación educativa . [1] La evaluación de la escritura también puede referirse a las tecnologías y prácticas utilizadas para evaluar la escritura y el aprendizaje de los estudiantes. [2] Una consecuencia importante de la evaluación de la escritura es que el tipo y la forma de evaluación pueden afectar la instrucción de escritura, con consecuencias para el carácter y la calidad de esa instrucción. [3]
La evaluación de la escritura comenzó como una práctica en el aula durante las dos primeras décadas del siglo XX, aunque también surgieron pruebas estandarizadas y de alto riesgo durante este tiempo. [4] Durante la década de 1930, College Board pasó de utilizar la evaluación directa de la escritura a la evaluación indirecta porque estas pruebas eran más rentables y se creía que eran más confiables. [4] A partir de la década de 1950, más estudiantes de diversos orígenes asistían a colegios y universidades, por lo que los administradores hicieron uso de pruebas estandarizadas para decidir dónde deberían ubicarse estos estudiantes, qué y cómo enseñarles, y cómo medir que aprendieron lo que necesitaban aprender. [5] Las evaluaciones de escritura a gran escala a nivel estatal que se desarrollaron durante este tiempo combinaron la evaluación de escritura directa con elementos de opción múltiple , una práctica que sigue siendo dominante hoy en día en los programas de pruebas a gran escala de EE. UU., Como el SAT y el GRE . [4] Estas evaluaciones generalmente se llevan a cabo fuera del aula, a nivel estatal y nacional. Sin embargo, a medida que más y más estudiantes fueron ubicados en cursos basados en sus puntajes de pruebas estandarizadas, los profesores de escritura comenzaron a notar un conflicto entre lo que se estaba evaluando a los estudiantes ( gramática , uso y vocabulario) y lo que los profesores realmente estaban enseñando ( proceso de escritura y revisión). [5] Debido a esta división, los educadores comenzaron a presionar para que las evaluaciones de escritura se diseñaran e implementaran a nivel local, programático y de aula. [5] [6] A medida que los profesores de escritura comenzaron a diseñar evaluaciones locales, los métodos de evaluación comenzaron a diversificarse, lo que resultó en pruebas de ensayo cronometradas, rúbricas diseñadas localmente y portafolios. Además de los niveles de aula y programático, la evaluación de la escritura también es enormemente influyente en los centros de escritura para la evaluación del centro de escritura y centros de apoyo académico similares. [7]
Dado que la evaluación de la escritura se utiliza en múltiples contextos , se puede rastrear su historia mediante el examen de conceptos y situaciones específicos que impulsan cambios importantes en las teorías y las prácticas. Los especialistas en evaluación de la escritura no siempre están de acuerdo sobre el origen de la evaluación de la escritura.
La historia de la evaluación de la escritura se ha descrito como compuesta por tres cambios importantes en los métodos utilizados para evaluar la escritura. [5] La primera ola de evaluación de la escritura (1950-1970) buscó pruebas objetivas con medidas indirectas de evaluación. La segunda ola (1970-1986) se centró en pruebas con calificación holística en las que se comenzó a evaluar la escritura real de los estudiantes. Y la tercera ola (desde 1986) se inclinó hacia la evaluación de una colección de trabajos de los estudiantes (es decir, evaluación de portafolios) y la evaluación programática.
La publicación en 1961 de Factores en los juicios sobre la capacidad de escritura por Diederich, French y Carlton también se ha caracterizado por marcar el nacimiento de la evaluación de la escritura moderna. [8] Diederich et al. basaron gran parte de su libro en la investigación realizada a través del Educational Testing Service (ETS) durante la década anterior. Este libro es un intento de estandarizar la evaluación de la escritura y es responsable de establecer una base de investigación en la evaluación de la escritura. [9]
Los conceptos de validez y confiabilidad se han ofrecido como una especie de heurística para comprender los cambios en las prioridades en la evaluación de la escritura [10], así como para interpretar lo que se entiende como mejores prácticas en la evaluación de la escritura. [11]
En la primera ola de evaluación de la escritura, el énfasis está puesto en la fiabilidad : [12] la fiabilidad se enfrenta a cuestiones sobre la consistencia de una prueba. En esta ola, la preocupación central era evaluar la escritura con la mayor previsibilidad y con la menor cantidad de costes y trabajo.
El cambio hacia la segunda ola marcó un movimiento hacia la consideración de los principios de validez . La validez confronta preguntas sobre la idoneidad y efectividad de una prueba para el propósito dado. Los métodos en esta ola estaban más preocupados por la validez de constructo de una prueba : si el material sugerido de una prueba es una medida apropiada de lo que la prueba pretende medir. Los maestros comenzaron a ver una incongruencia entre el material que se les pedía para medir la escritura y el material que los maestros les pedían a los estudiantes que escribieran. La puntuación holística , defendida por Edward M. White, surgió en esta ola. Es un método de evaluación en el que se les pide a los estudiantes que escriban lo que escriben para medir su capacidad de escritura. [13]
La tercera ola de evaluación de la escritura surge con un interés continuo en la validez de los métodos de evaluación. Esta ola comenzó a considerar una definición ampliada de validez que incluye cómo la evaluación de portafolios contribuye al aprendizaje y la enseñanza. En esta ola, la evaluación de portafolios surge para enfatizar las teorías y prácticas en los estudios de composición y escritura, como la revisión , la redacción y el proceso .
Las evaluaciones indirectas de escritura generalmente consisten en pruebas de opción múltiple sobre gramática, uso y vocabulario. [5] Los ejemplos incluyen pruebas estandarizadas de alto riesgo como el ACT , SAT y GRE , que son las más utilizadas por los colegios y universidades para fines de admisión . Otras evaluaciones indirectas, como Compass, se utilizan para colocar a los estudiantes en cursos de escritura remediales o convencionales. Las evaluaciones directas de escritura, como Writeplacer ESL (parte de Accuplacer) o una prueba de ensayo cronometrada, requieren al menos una muestra de escritura del estudiante y muchos académicos de evaluación de escritura las consideran más válidas que las pruebas indirectas porque evalúan muestras reales de escritura. [5] La evaluación de portafolios, que generalmente consiste en varias piezas de escritura del estudiante escritas a lo largo de un semestre, comenzó a reemplazar los ensayos cronometrados a fines de la década de 1980 y principios de la de 1990. La evaluación de portafolios se considera incluso más válida que las pruebas de ensayo cronometradas porque se enfoca en múltiples muestras de escritura del estudiante que se han compuesto en el contexto auténtico del aula. Los portafolios permiten a los evaluadores examinar múltiples muestras de escritos de estudiantes y múltiples borradores de un solo ensayo. [5]
Los métodos de evaluación de la escritura varían según el contexto y el tipo de evaluación. A continuación, se incluye una lista incompleta de evaluaciones de escritura que se realizan con frecuencia:
La evaluación de portafolios se utiliza normalmente para evaluar lo que los estudiantes han aprendido al final de un curso o durante un período de varios años. Los portafolios de un curso consisten en múltiples muestras de trabajos escritos por los estudiantes y una carta o ensayo reflexivo en el que los estudiantes describen sus trabajos escritos y su trabajo para el curso. [5] [14] [15] [16] Los "portafolios de muestra" contienen borradores finales de los trabajos escritos por los estudiantes, y los "portafolios de proceso" contienen múltiples borradores de cada pieza de trabajo. [17] Tanto los portafolios impresos como los electrónicos pueden ser portafolios de muestra o de proceso, aunque los portafolios electrónicos normalmente contienen hipervínculos desde el ensayo o la carta reflexiva a muestras del trabajo de los estudiantes y, a veces, a fuentes externas. [15] [17]
Las pruebas de redacción cronometradas se desarrollaron como una alternativa a las evaluaciones de redacción indirectas con opción múltiple. Las pruebas de redacción cronometradas se utilizan a menudo para ubicar a los estudiantes en cursos de redacción adecuados a su nivel de habilidad. Estas pruebas suelen estar supervisadas , lo que significa que la prueba se lleva a cabo en un lugar específico en el que se les da a los estudiantes una indicación para escribir en respuesta dentro de un límite de tiempo establecido. Tanto el SAT como el GRE contienen partes de redacción cronometradas.
Una rúbrica es una herramienta que se utiliza en la evaluación de la escritura y que se puede utilizar en varios contextos de escritura. Una rúbrica consiste en un conjunto de criterios o descripciones que guían a un evaluador para puntuar o calificar a un escritor. Los orígenes de las rúbricas se pueden rastrear hasta los primeros intentos en educación de estandarizar y escalar la escritura a principios del siglo XX. Ernest C Noyes aboga en noviembre de 1912 por un cambio hacia prácticas de evaluación que estuvieran más basadas en la ciencia. Una de las escalas originales utilizadas en educación fue desarrollada por Milo B. Hillegas en A Scale for the Measurement of Quality in English Composition by Young People . Esta escala se conoce comúnmente como la Escala Hillegas. La Escala Hillegas y otras escalas utilizadas en educación fueron utilizadas por los administradores para comparar el progreso de las escuelas. [18]
En 1961, Diederich, French y Carlton del Educational Testing Service (ETS) publicaron Factores en los juicios sobre la capacidad de escritura, una rúbrica compilada a partir de una serie de evaluadores cuyos comentarios se categorizaron y condensaron en una rúbrica de cinco factores: [19]
A medida que las rúbricas comenzaron a usarse en el aula, los maestros comenzaron a abogar por la negociación de criterios con los estudiantes para que estos pudieran participar en la forma en que serían evaluados. Académicos como Chris Gallagher y Eric Turley, [20] Bob Broad, [21] y Asao Inoue [22] (entre muchos) han defendido que el uso eficaz de las rúbricas surge de criterios locales, contextuales y negociados.
Críticas:
La introducción de la rúbrica ha suscitado debates entre los académicos. Algunos educadores han argumentado que las rúbricas se basan en afirmaciones objetivas falsas y, por lo tanto, en la subjetividad. [23] Eric Turley y Chris Gallagher argumentaron que las rúbricas impuestas por el estado son una herramienta para la rendición de cuentas en lugar de mejoras. Muchas veces las rúbricas se originan fuera del aula de autores que no tienen relación con los propios estudiantes y luego son interpretadas y adaptadas por otros educadores. [24] Turley y Gallagher señalan que "la ley de disminución distal dice que cualquier herramienta educativa se vuelve menos útil para la instrucción -y más potencialmente dañina para la integridad educativa- cuanto más se aleja del aula de donde se origina o a donde llega". [24] Continúan diciendo que debe interpretarse como una herramienta para que los escritores midan un conjunto de valores de consenso, no para sustituir una respuesta comprometida.
Un estudio de Stellmack et al. evaluó la percepción y la aplicación de rúbricas con criterios consensuados. Los resultados revelaron que cuando diferentes calificadores evaluaban el mismo borrador, el calificador que ya había dado retroalimentación anteriormente tenía más probabilidades de notar una mejora. Los investigadores concluyeron que una rúbrica con mayor confiabilidad daría mejores resultados en su "procedimiento de revisión-revisión-reenvío". [25]
Rúbricas anti : Las rúbricas miden la calidad de la escritura y reflejan las creencias de un individuo sobre los valores retóricos de un departamento o institución en particular. Pero las rúbricas carecen de detalles sobre cómo un instructor puede desviarse de estos valores. Bob Broad señala que un ejemplo de una propuesta alternativa a la rúbrica es el [26] “mapeo dinámico de criterios”.
El criterio único de evaluación plantea más preguntas, ya que Elbow se refiere a la construcción social del valor en sí mismo. Propone un proceso comunitario despojado del requisito de acuerdo, que permitiría a la clase “ver acuerdos potenciales –acuerdos no forzados en su pensamiento– al tiempo que los ayudaría a articular dónde están en desacuerdo”. [27] Propone que la calificación podría adoptar una perspectiva multidimensional donde se abre el potencial para la “buena escritura”. Señala que al hacerlo, una rúbrica de dimensión singular intenta evaluar un desempeño multidimensional. [27]
Los exámenes de opción múltiple contienen preguntas sobre el uso de la lengua , la gramática y el vocabulario . Los exámenes estandarizados como el SAT, el ACT y el GRE se utilizan normalmente para la admisión a la universidad o a escuelas de posgrado. Otros exámenes, como Compass y Accuplacer, se utilizan normalmente para ubicar a los estudiantes en cursos de redacción de nivelación o general.
La calificación automatizada de ensayos (AES) es el uso de prácticas de evaluación asistidas por computadora, no humanas, para calificar, puntuar o calificar tareas de escritura.
Algunos académicos en evaluación de la escritura centran su investigación en la influencia de la raza en el desempeño en las evaluaciones de escritura. Los estudios sobre raza y evaluación de la escritura buscan estudiar cómo las categorías de raza y las percepciones de la raza continúan dando forma a los resultados de la evaluación de la escritura. Sin embargo, algunos académicos en evaluación de la escritura reconocen que el racismo en el siglo XXI ya no es explícito , [28] pero abogan por un racismo "silencioso" en las prácticas de evaluación de la escritura en el que las desigualdades raciales en la evaluación de la escritura generalmente se justifican con razones no raciales. [29] Estos académicos abogan por nuevos desarrollos en la evaluación de la escritura, en los que las intersecciones de la raza y la evaluación de la escritura se llevan al frente de las prácticas de evaluación.