stringtranslate.com

Clasificación holística

La calificación holística o puntuación holística , en la educación basada en estándares , es un enfoque para calificar ensayos utilizando una estructura de calificación simple que basa la calificación en la calidad general de un trabajo. [1] Este tipo de calificación, que también se describe como calificación no reduccionista, [2] contrasta con la calificación analítica, [3] que tiene en cuenta más factores al asignar una calificación. La calificación holística también se puede utilizar para evaluar el trabajo en el aula. En lugar de contar los errores, un trabajo se juzga de forma holística y, a menudo, se compara con un trabajo de referencia para evaluar si cumple con un estándar de escritura. [4] Se diferencia de otros métodos de calificación del discurso escrito en dos formas básicas. Trata la composición como un todo, sin asignar valores separados a diferentes partes del escrito. Y utiliza dos o más evaluadores, y la puntuación final se deriva de sus puntuaciones independientes. La puntuación holística ha recibido otros nombres: "no analítica", "calidad general", "mérito general", "impresión general", "impresión rápida". Aunque el valor y la validación del sistema son tema de debate, la calificación holística de la escritura todavía se utiliza ampliamente.

Definición

En la puntuación holística, dos o más evaluadores asignan de forma independiente una única puntuación a una muestra de escritura. Dependiendo de la situación evaluativa, la puntuación variará (por ejemplo, "78", "aprobado", "merece crédito", "digno de nivel A", "muy calificado"), pero cada calificación debe ser unitaria. Si se pide a los evaluadores que consideren o califiquen aspectos separados del escrito (por ejemplo, organización, estilo, razonamiento, apoyo), su puntuación holística final no se deriva matemáticamente de esa consideración inicial o de esas puntuaciones. Primero se calibra a los evaluadores como un grupo para que dos o más de ellos puedan asignar de forma independiente la puntuación final a la muestra de escritura dentro de un grado predeterminado de confiabilidad. La puntuación final se encuentra a lo largo de una escala preestablecida de valores y los evaluadores intentan aplicar la escala de manera consistente. La puntuación final para el escrito se deriva de dos o más calificaciones independientes. La puntuación holística a menudo se contrasta con la puntuación analítica. [5] [6] [7]

Necesidad

La redacción de textos extensos en prosa ha sido un requisito para los trabajadores de muchos ámbitos asalariados de la vida, desde la ciencia, los negocios y la industria hasta el derecho, la religión y la política. [8] La competencia en la redacción de textos extensos también ha formado parte de las pruebas de calificación o certificación para maestros, funcionarios públicos y oficiales militares. [9] [10] En consecuencia, la enseñanza de la escritura es parte de la educación formal en la escuela y, en los EE. UU., en la universidad. ¿Cómo se puede evaluar mejor esa competencia en la redacción de textos extensos? Se pueden probar partes aisladas de la misma con preguntas "objetivas" de respuesta corta: ortografía y puntuación correctas, por ejemplo. Tales preguntas se califican con altos grados de fiabilidad. Pero, ¿qué tan bien evalúan las preguntas de los ítems el potencial o el logro en la redacción de pasajes extensos coherentes y significativos? Poner a prueba a los candidatos pidiéndoles que escriban textos extensos de discurso parece un método de evaluación más válido. Ese método, sin embargo, plantea la cuestión de la fiabilidad. ¿Qué tan fiablemente se puede juzgar el valor de un texto entre los lectores y en los episodios de evaluación? Los profesores y otros jueces confían en su conocimiento del tema y en su comprensión de la buena y la mala redacción, pero esta confianza en el "conocimiento" [11] ha sido cuestionada durante mucho tiempo. Se ha demostrado que expertos igualmente informados otorgan calificaciones muy diferentes a los mismos ensayos. [12] [13] [14] [15] La calificación holística, con su atención tanto a la fiabilidad como a la validez, se presenta como un mejor método para juzgar la competencia en redacción. Al prestar atención a la imparcialidad, también puede centrarse en las consecuencias del uso de la calificación. [16]

Modelo

Mientras que la calificación analítica implica juicios criterio por criterio, la calificación holística evalúa los trabajos de los estudiantes como entidades integradas. En la calificación holística, el desempeño del estudiante se aborda como un todo y no se puede reducir o dividir en varios componentes. [17] En este caso, los profesores deben considerar aspectos específicos de la respuesta del estudiante, así como la calidad del conjunto. [18]

La calificación holística funciona distinguiendo el desempeño satisfactorio de aquel que es simplemente adecuado o sobresaliente. [2]

Cuatro tipos de puntuación

Aunque se han probado una amplia variedad de procedimientos para la puntuación holística, cuatro formas han establecido tradiciones distintas. [19]

Evaluador agrupado

La puntuación holística por evaluadores agrupados normalmente utiliza de tres a cinco lectores independientes para cada muestra de escritura. Aunque los evaluadores trabajan a partir de una escala común de calificaciones y pueden tener un conjunto de trabajos de muestra que ilustran esa escala ("trabajos de referencia" [20] ), por lo general han tenido un mínimo de formación en conjunto. Sus puntuaciones simplemente se suman o promedian para obtener la puntuación final de la muestra. En Gran Bretaña, la puntuación holística por evaluadores agrupados se puso a prueba experimentalmente por primera vez en 1934, empleando a diez profesores evaluadores por muestra. [21] Se puso en práctica por primera vez con exámenes de 11+ en Devon en 1939, utilizando cuatro profesores por ensayo. [22] En los Estados Unidos, su fiabilidad de evaluadores fue validada de 1961 a 1966 por el Educational Testing Service; [23] y se utilizó, esporádicamente, en la Prueba de Composición de Inglés del Educational Testing Service de 1963 a 1992, empleando de tres a cinco evaluadores por ensayo. [24] Un término casi sinónimo de "puntuación de evaluadores agrupados" es "evaluación distributiva" [25]

Informado sobre rasgos

La puntuación basada en rasgos entrena a los evaluadores para que califiquen según una guía de puntuación (también llamada "rúbrica" ​​[26] o "lista de verificación" [27] ), un conjunto breve de criterios de escritura, cada uno escalado en formato de cuadrícula hasta el mismo número de niveles de logro. Por ejemplo, la guía de puntuación utilizada en un estudio de la City University de Nueva York de 1969 sobre la escritura de los estudiantes tenía cinco criterios (ideas, organización, estructura de oraciones, redacción y puntuación/mecánica/ortografía) y tres niveles (superior, promedio, inaceptable). [28] La razón de ser de las guías de puntuación es que obligan a los evaluadores a prestar atención a una variedad de logros de escritura y no dar una influencia indebida a uno o dos (el " efecto halo "). La puntuación basada en rasgos se acerca a los métodos de puntuación analíticos en los que los evaluadores califican cada rasgo independientemente de los otros rasgos y luego suman las puntuaciones para obtener una nota final, como en la escala de Diederich. [29] Sin embargo, la puntuación holística basada en rasgos sigue siendo holística en esencia y pide a los evaluadores solo que tengan en cuenta todos los rasgos antes de decidir una puntuación final única.

Calificador ajustado

La puntuación ajustada por el evaluador presupone que algunos evaluadores son más precisos en sus puntuaciones que otros. Cada trabajo es leído independientemente por dos evaluadores y si sus puntuaciones difieren en cierta medida, normalmente en más de un punto en la escala de calificación, entonces el trabajo es leído por un tercer lector más experimentado. Los evaluadores que provocan demasiadas lecturas a terceros a veces son reentrenados durante la sesión de calificación, a veces son expulsados ​​del cuerpo de lectura. [30] [31] La puntuación holística ajustada por el evaluador puede haber sido aplicada por primera vez por la Junta de Examinadores de The College of the University of Chicago en 1943. [32] Hoy en día, los servicios de evaluación comercial a gran escala a veces utilizan la puntuación ajustada por el evaluador, donde un evaluador de un ensayo es un humano capacitado y el otro una computadora programada para la calificación automática de ensayos, por ejemplo, la prueba GRE. [33] [34]

Evaluador único

La calificación supervisada por un solo evaluador capacita a los evaluadores como grupo y puede proporcionarles un esquema de calificación detallado. Sin embargo, cada muestra de escritura es calificada por un solo evaluador a menos que, mediante la verificación periódica por parte de un supervisor, su puntuación se considere fuera del rango de aceptabilidad y entonces sea evaluada nuevamente, generalmente por el supervisor. Este método, llamado "calificación única" o "muestreo", ha sido durante mucho tiempo el estándar en los exámenes escolares de Gran Bretaña, aunque se ha demostrado que es menos válido que la calificación doble o múltiple. [35] [36] En los Estados Unidos, para la Sección de Escritura del TOEFLiBT, [37] el Educational Testing Service ahora utiliza la combinación de calificación automatizada y un evaluador humano certificado.

Historia

En Gran Bretaña, la calificación holística formal con evaluadores conjuntos se propuso ya en 1924 [38] y se puso a prueba formalmente en 1934-1935. [39] La aplicó por primera vez en 1939 el examinador jefe RK Robertson en los exámenes de 11+ en la Autoridad de Exámenes Locales de Devon, Inglaterra, y se mantuvo allí durante diez años. [40] Aunque otras autoridades educativas locales en Gran Bretaña probaron el sistema durante los años 1950 y 1960 y su fiabilidad y validez fueron muy estudiadas por los investigadores británicos, no logró afianzarse. La calificación múltiple de los exámenes escolares, generalmente escritos para demostrar competencia en áreas temáticas, dio paso en gran medida a la calificación monitoreada por un solo evaluador con esquemas de calificación analítica. [41] [42]

En los EE. UU., la primera calificación holística aplicada de muestras de escritura fue administrada por Paul B. Diederich en The College of the University of Chicago como un examen integral para obtener créditos en el curso de escritura de primer año. El método fue una calificación ajustada por el evaluador, con los maestros del curso como calificadores y los miembros de la Junta de Examinadores como ajustadores. [43] [44] Alrededor de 1956, el examen de Colocación Avanzada del College Board comenzó un sistema holístico de calificador ajustado para calificar ensayos para obtener créditos avanzados en inglés. Los calificadores eran maestros de escuela secundaria, que trajeron el sistema de calificación de regreso a sus escuelas. [45] Un maestro fue Albert Lavin, quien instaló una calificación holística similar en la Escuela Secundaria Sir Francis Drake en el condado de Marin, California, 1966-1972, en los grados 9, 10, 11 y 12 para mostrar el progreso en la escritura escolar durante esos años. [46] En 1973, los profesores del sistema de universidades y colegios estatales de California utilizaron el sistema de calificación ajustada de Colocación Avanzada para calificar los ensayos escritos por los estudiantes matriculados para obtener créditos de composición en inglés avanzado. [47] La ​​calificación holística de calificación agrupada fue probada ya en 1950 por el Servicio de Evaluación Educativa (utilizando el término "holístico"). [48] Se aplicó por primera vez en la Prueba de Composición en Inglés del College Board de 1963. [49] En la educación superior, el Programa de Evaluación de Regentes de Georgia, una prueba para estudiantes de tercer año en ascenso para evaluar las habilidades lingüísticas, lo utilizó ya en 1972. [50]

En los Estados Unidos, entre 1975 y 1990 se produjo una expansión exponencial de la calificación holística, impulsada en parte por el movimiento de rendición de cuentas educativa . En 1980, se realizaban evaluaciones de la escritura escolar en al menos 24 estados, la gran mayoría mediante muestras de escritura calificadas de manera holística. [51] En la educación postsecundaria, cada vez más colegios y universidades utilizaban la calificación holística para obtener créditos avanzados, la colocación en cursos de escritura de primer año, la salida de los cursos de escritura y la calificación para el estado de tercer año y para el título de grado. Los profesores de escritura también instruían a sus estudiantes en la calificación holística para que pudieran juzgar la escritura de los demás, una pedagogía enseñada en los Proyectos Nacionales de Escritura. [52]

A partir de las dos últimas décadas del siglo XX, el uso de la puntuación holística disminuyó un poco. Otros medios de calificar la competencia de escritura de un estudiante, tal vez más válidos, se estaban volviendo populares, como los portafolios . Las universidades recurrían cada vez más a agencias de evaluación, como ACT y ETS , para que calificaran muestras de escritura por ellas, y para la primera década del siglo XXI esas agencias hacían algo de eso mediante la calificación automática de ensayos. Pero la calificación holística de ensayos por parte de humanos todavía se aplica en pruebas comerciales a gran escala como el GED , TOEFL iBT y GRE General Test . También se utiliza para la colocación o la progresión académica en algunas instituciones de educación superior, por ejemplo en la Universidad Estatal de Washington . [53] Sin embargo, para la admisión y la colocación en cursos de escritura, la mayoría de las universidades ahora dependen de la calificación analítica de las habilidades de escritura en pruebas como ACT , SAT , CLEP y Bachillerato Internacional .

Validación

La puntuación holística se suele validar por sus resultados. La coherencia entre las puntuaciones de los evaluadores, o "fiabilidad del evaluador", se ha calculado mediante al menos ocho fórmulas diferentes, entre ellas el porcentaje de acuerdo, el coeficiente de correlación r de Pearson, la fórmula de Spearman-Brown, el alfa de Cronbach y el kappa ponderado cuadrático. [54] [55] El coste de la puntuación se puede calcular midiendo el tiempo medio que los evaluadores dedican a calificar una muestra de escritura, el porcentaje de muestras que requieren una tercera lectura o el gasto en estipendios para los evaluadores, el salario de los líderes de sesión, los refrigerios para los evaluadores, la fotocopia a máquina, el alquiler de la sala, etc. Ocasionalmente, especialmente con usos de alto impacto como en las pruebas estandarizadas para la admisión a la universidad, se realizan esfuerzos para estimar la validez concurrente de las puntuaciones. Por ejemplo, en un estudio temprano del examen de Desarrollo de Educación General (GED) , el Consejo Americano de Educación comparó una puntuación de ensayo holístico experimental con la puntuación de opción múltiple existente y descubrió que las dos puntuaciones medían conjuntos de habilidades algo diferentes. [56] Con mayor frecuencia, la validez predictiva se mide comparando la puntuación holística de un estudiante con sus logros posteriores en cursos universitarios, generalmente el promedio de calificaciones del primer semestre, la calificación final de un curso de redacción de primer año o la opinión del docente sobre la capacidad de redacción del estudiante. Estas correlaciones suelen ser bajas o moderadas. [57]

Crítica

La calificación holística de la escritura atrajo críticas adversas casi desde el principio. En los años 1970 y 1980 y después, las críticas aumentaron. [58] [59] [60] [61]

  1. Costo. En la década de 1980, cuando los exámenes eran calificados en su totalidad por personas, la calificación holística válida y confiable de una muestra de escritura requería más tiempo y, por lo tanto, más dinero que la calificación de ítems. Por ejemplo, costaba $0,75 por ensayo para el primer examen y $0,53 por el segundo en el Programa de Pruebas de Regentes de Georgia de 1980-1981. [62] Más tarde, en términos de gastos, la calificación holística de los exámenes por parte de personas podía competir incluso menos con las pruebas de ítems calificadas por máquinas o los ensayos calificados por máquinas, que cuestan entre la mitad y la cuarta parte del costo de la calificación humana. [63]
  2. Diagnóstico. La queja más común sobre la puntuación holística es la escasez de información diagnóstica que proporciona. Las puntuaciones de "aprobado" (o de "3" en una escala de 4, 6 o 9 puntos) proporcionan poca orientación concreta para el estudiante, el profesor o el investigador. En los exámenes de barreras educativas, la puntuación holística puede servir a los administradores para localizar a los estudiantes que no aprobaron, pero sirve poco a los profesores para ayudar a esos estudiantes a aprobar en un segundo intento. [64] [65] La necesidad de ampliar la información diagnóstica fue la razón por la que, en la segunda ronda de la Evaluación Nacional del Progreso Educativo (1973-1974), la Comisión de Educación de los Estados complementó la puntuación holística con la puntuación de rasgos primarios de muestras de escritura. [66] La misma razón impulsó al Sistema Internacional de Evaluación del Idioma Inglés , dirigido por el British Council y la Evaluación del Idioma Inglés de Cambridge para hablantes y escritores de segunda lengua, a adoptar la "puntuación de perfil" en 1985. [67]
  3. Rúbricas . Como una lista de verificación preestablecida de unos pocos rasgos de escritura, cada uno escalado igualmente en unos pocos niveles de logro, la rúbrica ha sido criticada porque es simplista, ciega a las diferencias culturales y de desarrollo y falsamente premisada. Cuando se le preguntó a un grupo de profesores de composición universitaria sus "criterios de evaluación" de la escritura, mencionaron no 5 o 6 criterios sino 124. [68] Si bien la rúbrica asume que los criterios son independientes entre sí, los estudios han demostrado que las puntuaciones que los lectores dan a uno o dos criterios influyen en las puntuaciones que dan a los otros criterios (el efecto halo ). [69] Los criterios preestablecidos e igualmente valorados tampoco se ajustan al desarrollo de los escritores adultos jóvenes, desarrollo que puede ser desigual, no universal y regresivo. [70] [71] [72] Más fundamentalmente, las rúbricas estandarizadas proponen un resultado lingüístico predeterminado, mientras que el lenguaje nunca está determinado, nunca está libre de contexto . Las rúbricas utilizan "fórmulas deterministas para predecir resultados de sistemas complejos" [73] , una crítica que se ha dirigido a las rúbricas utilizadas para puntajes sumativos en pruebas a gran escala, así como para la retroalimentación formativa en el aula.
  4. Descontextualización. La puntuación holística tradicional puede borrar el contexto vital de la composición, por ejemplo, la influencia en diferentes escritores que responden en un borrador cronometrado e improvisado a diferentes temas y diferentes géneros de escritura. [74] Desde el punto de vista de la retórica contrastiva , las diferencias culturales vitales de los escritores también pueden borrarse. Por ejemplo, cuando los investigadores de la Asociación Internacional para la Evaluación del Logro Educativo intentaron crear medidas para calificar ensayos compuestos por estudiantes de Finlandia, Corea y los EE. UU., descubrieron que "la puntuación holística estaría condenada al fracaso desde el principio debido a las diferencias en las comunidades". [75] La puntuación holística, en particular la puntuación informada por los rasgos con un entrenamiento de los evaluadores fuertemente controlado para lograr una alta confiabilidad del evaluador, también puede ignorar la ecología de los evaluadores. El sistema de puntuación crea un conjunto de lectores forzados artificialmente a salir de su respuesta de lectura natural por un consenso impuesto. [76] [77] Estas preocupaciones alentaron a instituciones como la Universidad de Ohio, la Universidad de Louisville y la Universidad Estatal de Washington a evaluar la competencia de escritura de los estudiantes con portafolios de sus ensayos escritos en clases anteriores. [78]
  5. Imparcialidad. Aunque se ha defendido la calificación holística de la escritura como más justa para las minorías y los escritores de segunda lengua que las pruebas objetivas, [79] [80] también se ha reunido evidencia que muestra que la calificación holística tiene sus propios problemas con la imparcialidad. La tutoría era menos asequible para los candidatos de bajos ingresos. [81] Los estudiantes afroamericanos tuvieron más problemas con la parte de ensayo del examen CLAST de Florida. [82] Las indicaciones de ensayo para el Examen de Evaluación de Escritura de CUNY no eran "justas en cuanto al contenido y libres de cultura" y plantearon más problemas para los escritores hispanos y de otras segundas lenguas. [83] El Servicio de Evaluación Educativa ha mostrado una preocupación de larga data sobre la imparcialidad de las pruebas, [84] [85] aunque actualmente la investigación sobre los resultados injustos de la calificación holística probablemente esté rezagada con respecto a las intuiciones de los profesionales y probablemente necesite aplicar un análisis estadístico más discriminante para documentar esos resultados. [86]

Proyectos que utilizan calificación holística

Muchas instituciones utilizan una calificación holística al evaluar los trabajos escritos de los estudiantes como parte de un requisito de graduación. [3] Algunos ejemplos incluyen:

Referencias

  1. ^ Nordquist, Richard (7 de marzo de 2017). "¿Qué es la calificación holística?". ThoughtCo . Consultado el 11 de diciembre de 2018 .
  2. ^ ab Bishop, Alan; Clements, MA (Ken); Keitel-Kreidt, Christine; Kilpatrick, Jeremy; Laborde, Colette (2012). Manual internacional de educación matemática . Dordrecht: Springer Science & Business Media. págs. 354–355. ISBN 978-94-010-7155-0.
  3. ^ ab "Conozca sus términos: rúbricas holísticas, analíticas y de un solo punto". Cult of Pedagogy . 2014-05-01 . Consultado el 2018-12-11 .
  4. ^ "Puntuación holística con más detalle". writing.colostate.edu . Consultado el 11 de diciembre de 2018 .
  5. ^ Cooper, CR (1977). "Evaluación holística de la escritura". En CR Cooper y L. Odell (Eds.), Evaluación de la escritura: descripción, medición y evaluación , 3-31. Urbana, IL: Consejo Nacional de Profesores de Inglés.
  6. ^ Myers, M. (1980). Un procedimiento para la evaluación de la escritura y la puntuación holística . Urbana, IL: Consejo Nacional de Profesores de Inglés.
  7. ^ White, EM (1986). Enseñanza y evaluación de la escritura: avances recientes en la comprensión, evaluación y mejora del desempeño de los estudiantes . San Francisco: Jossey-Bass Publishers.
  8. ^ Oliveri, ME y McCulla, L. (2019). Uso de la base de datos de redes ocupacionales para evaluar y mejorar la comunicación en inglés en el lugar de trabajo (informe de investigación n.º RR-19-2). Princeton, NJ: Educational Testing Service.
  9. ^ Ballard, PB (1923). The New Examiner . Londres: University of London Press.
  10. ^ Elliot, N. (2005). On a Scale: A Social History of Writing Assessment in America (En una escala: una historia social de la evaluación de la escritura en Estados Unidos) . Nueva York: Peter Lang.
  11. ^ Weir, CJ, Vidakovic, I. y Galaczi, ED (2013). Measured Constructs: A History of Cambridge English Language Examinations 1913-2012. Cambridge, Inglaterra: Cambridge University Press
  12. ^ Edgeworth, FY (1988). "Las estadísticas de los exámenes". Revista de la Royal Statistical Society 51 : 599-635.
  13. ^ Edgeworth, FY (1890). "El elemento de azar en los exámenes competitivos". Journal of the Royal Statistical Society 53 : 460-475, 644-663.
  14. ^ Starch, D., y Elliott, EC "La confiabilidad de la calificación del trabajo de la escuela secundaria". School Review 20 : 254-259 .
  15. ^ Thomas, CW, et al. (1931). Examinando el examen en inglés: un informe para la Junta de Exámenes de Ingreso a la Universidad . Cambridge, MA: Harvard University Press.
  16. ^ Slomp, D., Corrigan, J. y Sugimoto, T. (2014). "Un marco para utilizar evidencia de validez consecuencial en la evaluación de evaluaciones de escritura a gran escala". Investigación en la enseñanza del inglés , 48(3): 276-302.
  17. ^ Joughin, Gordon (2008). Evaluación, aprendizaje y juicio en la educación superior . Cham: Springer Science & Business Media. pág. 48. ISBN 978-1-4020-8904-6.
  18. ^ Franck, Olof (2017). Evaluación en la educación ética: un caso de pruebas nacionales en educación religiosa . Cham, Suiza: Springer. p. 72. ISBN 978-3-319-50768-2.
  19. ^ Los siguientes nombres se tomaron de Haswell, R. y Elliot, N. (2019). Puntuación holística temprana de la escritura: una teoría, una historia, una reflexión . Logan, UT: Utah State University Press, págs. 24-25.
  20. ^ Coffman, W. (1971). "Sobre la fiabilidad de las calificaciones de los exámenes de redacción en inglés". Investigación en la enseñanza del inglés 5 (1): 24-36.
  21. ^ Hartog, PJ, Rhodes, EC y Burt, CL (1936). Las calificaciones de los examinadores: una comparación de las calificaciones asignadas a los exámenes por examinadores independientes y juntas de examinadores, junto con una sección sobre un examen oral . Londres: Macmillan.
  22. ^ Wiseman, S. (1949). "La calificación de la composición en inglés en la selección de la escuela secundaria". British Journal of Educational Psychology 19 (3): 200-209.
  23. ^ Godshalk, FI, Swineford, F. y Coffman, WE (1966). La medición de la capacidad de escritura . Nueva York: College Entrance Examination Board.
  24. ^ Elliot (2005, págs. 158-165.
  25. ^ Whithaus, C. (2010). "Evaluación distributiva", Bibliografía de investigación de WPA-CompPile, n.º 3. Bibliografías de WPA-CompPile
  26. ^ Eley, EG (1956). "Prueba de las artes del lenguaje". Modern Language Journal 40 (6): 310-315.
  27. ^ Scriven, M. (1974). "Lista de verificación para la evaluación de productos, productores y propuestas". En WJ Popham (Ed.), Evaluation in Education: Current Applications , 7-33. Berkeley, CA: McCutchan Publishing Co.
  28. ^ Bossone, RM (1969). Los problemas de escritura de los estudiantes de inglés de nivel intermedio en el Community College de la City University de Nueva York . Nueva York: CUNY Research and Evaluation Unit for Special Programs. Servicio de reproducción de documentos de ERIC, ED 028 778
  29. ^ Diederich, PB (1966). "Cómo medir el crecimiento de la capacidad de escritura". English Journal 55 (4): 435-449.
  30. ^ Blanco (1985), págs. 23-26.
  31. ^ Haswell y Elliot (2019), págs. 99-109
  32. ^ Diederich, PB (1946). "La medición de la habilidad en la escritura". School Review 54 (10): 584-592.
  33. ^ Deane, P., Williams, F., Weng, V. y Trapani, CS (2013). "Puntuación automatizada de ensayos en evaluaciones innovadoras de redacción a partir de fuentes". Journal of Writing Assessment 6 (2013). Consultado el 10 de enero de 2022.
  34. ^ Servicio de evaluación educativa. Preguntas frecuentes sobre el motor de puntuación de e-rater. Consultado el 9 de enero de 2021.
  35. ^ Weir, Vidakovic y Galaczi, pág. 201.
  36. ^ Oficina de Calificaciones y Exámenes. (2014). Revisión de la investigación sobre la doble calificación , pág. 10. Coventry: Ofqual.
  37. ^ "Sección de redacción del examen TOEFL iBT". www.ets.org . Educational Testing Service . Consultado el 25 de febrero de 2022 .
  38. ^ Boyd, W. (1924). Dispositivos de medición en composición, ortografía y aritmética . Londres: Harran.
  39. ^ Hartog, PJ, Rhodes, EC y Burt, CL (1946).
  40. ^ Sabiduría, S.
  41. ^ Brooks, V. (1980). Mejorar la fiabilidad de la calificación de ensayos: un estudio de la literatura con especial referencia a la composición en lengua inglesa . Informe del proyecto de investigación del Certificado de Educación Secundaria n.º 5. Leicester: Universidad de Leicester.
  42. ^ Hamp-Lyons, L. (2016). "¿Adiós a la puntuación holística?" Evaluación de la escritura 27 : A1-A2; 29 : A1-A5.
  43. ^ Diederich, PB (1946). "Medición de la habilidad para escribir". School Review 54 (10): 584-592.
  44. ^ Haswell y Elliot, págs. 99-109
  45. ^ Fuess, CM (1950). El College Board: sus primeros cincuenta años . Nueva York: Columbia University Press.
  46. ^ Haswell y Elliot, págs. 160-163.
  47. ^ White, E., y English Council of the California State Universities and Colleges, con Friedrich, G., Burbank, R., y Cowell, W. (1973). Comparación y contraste: el examen de equivalencia de inglés de la California State University and Colleges de 1973. Los Ángeles, CA: Oficina del Canciller, California State University and Colleges. Servicio de reproducción de documentos de ERIC, ED 114 825.
  48. ^ Coward, AF (1952). "Una comparación de dos métodos de calificación de composiciones en inglés". Journal of Educational Research 46 (2): 81-93.
  49. ^ Elliot (2005), págs. 158-165.
  50. ^ Rentz, RR (1984). "Prueba de la escritura mediante la escritura". Medición educativa: cuestiones y prácticas 3 (4): 4.
  51. ^ McCready, M. y Melton, VS (1983). "Problemas en la evaluación de la escritura en un programa estatal". Notas de la Red Nacional de Evaluación de Escritura 2 : 18, 22. Consultado el 9 de enero de 2022.
  52. ^ Proyecto Nacional de Escritura. (2017). Proyecto Nacional de Escritura ofrece servicios de evaluación de escritura de alta calidad. Consultado el 9 de enero de 2022.
  53. ^ "Portafolio de escritura universitaria". writingprogram.wsu.edu . Universidad Estatal de Washington . Consultado el 25 de febrero de 2022 .
  54. ^ Cherry, RD y Meyer, PR (1993). "Cuestiones de fiabilidad en la puntuación holística". En MM Williamson y BA Huot, Validating Holistic Scoring for Writing Assessment: Theoretical and Empirical Foundations (Validación de la puntuación holística para la evaluación de la escritura: fundamentos teóricos y empíricos) , págs. 109-141. Cresskill, NJ: Hampton Press.
  55. ^ Williamson, D. M, Xi, X y Breyer, FJ (2012) "Un marco para la evaluación y el uso de la puntuación automatizada". Medición educativa: cuestiones y prácticas 31 (1): 2-13.
  56. ^ Swartz, R., Patience, WM y Whitney, DR (1985). Cómo agregar un ensayo al examen de habilidades de escritura del GED: cuestiones de confiabilidad y validez. Estudios de investigación del GED Testing Service n.º 7. Servicio de evaluación de educación general: Washington, DC. Consultado el 10 de enero de 2022.
  57. ^ Hayes, JR, Hatch, JA y Silk, CM (2000). "¿La evaluación holística predice el desempeño en la escritura? Estimación de la consistencia del desempeño de los estudiantes en tareas de escritura calificadas de manera holística". Comunicación escrita 17 (1): 3-26. [1] Wiseman (1949), pág. 206.
  58. ^ Mellon, JC (1972). "Revisión [de los informes 3 y 5 de la Evaluación Nacional del Progreso Educativo]. Investigación en la enseñanza del inglés 6 (1): 86-105.
  59. ^ Gray, JR y Ruth, LR (Eds.) Propiedades de las tareas de escritura: un estudio de procedimientos alternativos para la evaluación holística . Informe final del Instituto Nacional de Educación, NIE-G-80-0034. Berkeley, CA: Universidad de California, Berkeley. Servicio de reproducción de documentos de ERIC, ED 230 576. Consultado el 12 de enero de 2022.
  60. ^ Charney, D. (1984). "La validez del uso de la puntuación holística para evaluar la escritura: una visión crítica". Investigación en la enseñanza del inglés 18 (1): 65-83.
  61. ^ Purves, AC (1984). "En busca de un esquema válido a nivel internacional para la calificación de composiciones". Composición y comunicación universitaria 35 (4): 426-438.
  62. ^ Hudson, SA y Veal, LR (1981). Una investigación empírica de las medidas directas e indirectas de la escritura: Informe del proyecto de evaluación de la escritura en la educación basada en competencias de Georgia de 1980-1981. Servicio de reproducción de documentos de ERIC, ED 205 993.
  63. ^ Topol, B., Olson, J. y Roeber, E. (2014). «Estudio de precios: calificación automática de ensayos de estudiantes». Getting Smart . Consultado el 20 de enero de 2022.
  64. ^ Baron, JB (1984). "Evaluación de la escritura en Connecticut: una mirada holística hacia la identificación y una mirada analítica hacia la instrucción". Medición educativa: cuestiones y práctica 3 (1): 27-28, 38.
  65. ^ Elliot, N., Plata, M. y Zelhart, PF (1990). Manual de desarrollo de programas para la evaluación holística de la escritura. Lanham, MD: University Press of America.
  66. ^ Mullis, IVS (1967). El sistema de rasgos primarios para la puntuación de las tareas de escritura . Comisión de Educación de los Estados: Denver, CO. Servicio de Reproducción de Documentos de ERIC, ED 202 761. Consultado el 12 de enero de 2022.
  67. ^ Hamp-Lyons, L. (1987). "De la calificación holística a la calificación de perfiles de textos académicos específicos". Notas de la Red Nacional de Evaluación 7 (7). Consultado el 12 de enero de 2022.
  68. ^ Broad, B. (2003). Lo que realmente valoramos: más allá de las rúbricas en la enseñanza y evaluación de la escritura . Logan, UT: Utah State University Press.
  69. ^ Freedman, SW (1979). "Cómo las características de los ensayos de los estudiantes influyen en las evaluaciones de los profesores". Revista de Psicología Educativa 73 (3): 328-338.
  70. ^ Feldman, DH (1980). Más allá de los universales en el desarrollo cognitivo . Norwood, NJ: Ablex.
  71. ^ Bever, TG (Ed.) (1982). Regresión en el desarrollo mental: fenómenos básicos y teorías . Hillsdale, NJ: Erlbaum.
  72. ^ Knoblauch, CH y Brannon, L. (1984). Tradiciones retóricas y la enseñanza de la escritura . Upper Montclair, NJ: Boynton/Cook.
  73. ^ Wilson, M. (2018), Reimaginando la evaluación de la escritura: de las escalas a las historias , pág. xx. Portsmouth, NH: Heinemann.
  74. ^ Gray y Ruth (1982).
  75. ^ Wesdorp, H., Bauer, BA y Purves, AC (1982). "Hacia una conceptualización de la calificación de la composición escrita". Evaluación en Educación 5 (3): 299-315.
  76. ^ Gere, AR (1980). "Composición escrita: hacia una teoría de la evaluación". College English 42 (1): 44-58.
  77. ^ Raymond, JC (1982). "Lo que no sabemos sobre la evaluación de la escritura". Composición y comunicación universitaria 33 (4): 399-403.
  78. ^ Belanoff, P. y Dickson, M., Eds. (1991). Portafolios: Proceso y producto . Portsmouth, NH: Boyton/Cook Publishers.
  79. ^ White, EM y Thomas, LL (1981). "Minorías raciales y evaluación de las habilidades de redacción en la Universidad Estatal de California y en los colegios universitarios". College English 43 (3): pp. 276-283.
  80. ^ Shaefer, R. y Rankin, D. (1985), "Statewide Teacher Certification Models". Notas de la Red Nacional de Evaluación en Escritura 5: 5-6. Consultado el 12 de enero de 2022.
  81. ^ Fallows, J. (1980). La prueba y los "más brillantes": ¿cuán justos son los consejos universitarios? The Atlantic 245 (2): 37-48.
  82. ^ Rubin, SJ (1982). "The Florida College-Level Academic Skills Project: Testing Communication Skills Statewide". Notas de la Red Nacional de Evaluación por Escritos 1 (5): 18. . Consultado el 12 de enero de 2022.
  83. ^ Ruiz, A., y Díaz, D. (1983). "Evaluación de la escritura y estudiantes de inglés como segundo idioma". Notas de la Red Nacional de Evaluación de Escritura 3 : 5. Consultado el 12 de enero de 2022.
  84. ^ Breland, H., y Ironson, GH (1976). "DeFunis reconsiderado: un análisis comparativo de estrategias de admisión alternativas". Journal of Educational Measurement 13 (1): 89-99.
  85. ^ Breland, HM (1977). Comparaciones grupales para la prueba de inglés escrito estándar . Servicio de reproducción de documentos de ERIC ED 146 228. Consultado el 12 de enero de 2022.
  86. ^ Poe, M. y Elliot, N. (2019). "Evidencia de imparcialidad: veinticinco años de investigación en la evaluación de la escritura". Assessing Writing 42 : 100418. Consultado el 10 de enero de 2022.
  87. ^ "Evaluación externa de la NCEA: calificación de la puntuación". www.nzqa.govt.nz . Consultado el 11 de diciembre de 2018 .
  88. ^ "Cómo se califica el examen general GRE (para los examinados)" www.ets.org . Consultado el 11 de diciembre de 2018 .