stringtranslate.com

calificación holística

La calificación holística o puntuación holística , en la educación basada en estándares , es un enfoque para calificar ensayos utilizando una estructura de calificación simple que basa una calificación en la calidad general de un trabajo. [1] Este tipo de calificación, que también se describe como calificación no reduccionista, [2] contrasta con la calificación analítica, [3] que tiene más factores en cuenta al asignar una calificación. La calificación holística también se puede utilizar para evaluar el trabajo en el aula. En lugar de contar errores, un artículo se juzga de manera integral y, a menudo, se compara con un artículo básico para evaluar si cumple con un estándar de redacción. [4] Se diferencia de otros métodos de puntuación del discurso escrito en dos formas básicas. Trata la composición como un todo, sin asignar valores separados a diferentes partes del escrito. Y utiliza dos o más evaluadores, y la puntuación final se deriva de sus puntuaciones independientes. La puntuación holística ha recibido otros nombres: "no analítica", "calidad general", "mérito general", "impresión general", "impresión rápida". Aunque el valor y la validación del sistema son un tema de debate, la puntuación holística de la escritura todavía se aplica ampliamente.

Definición

En la puntuación holística, dos o más evaluadores asignan de forma independiente una puntuación única a una muestra de escritura. Dependiendo de la situación de evaluación, la puntuación variará (por ejemplo, "78", "aprobado", "merece crédito", "digno de un nivel A", "muy bien calificado"), pero cada calificación debe ser unitaria. Si se pide a los evaluadores que consideren o califiquen aspectos separados del escrito (por ejemplo, organización, estilo, razonamiento, apoyo), su puntuación holística final no se deriva matemáticamente de esa consideración inicial o de esas puntuaciones. Primero se calibra a los evaluadores como grupo para que dos o más de ellos puedan asignar de forma independiente la puntuación final a una muestra de escritura dentro de un grado predeterminado de confiabilidad. La puntuación final se basa en una escala de valores preestablecida y los puntuadores intentan aplicar la escala de forma coherente. La puntuación final del escrito se deriva de dos o más calificaciones independientes. La puntuación holística a menudo se contrasta con la puntuación analítica. [5] [6] [7]

Necesidad

La composición de extensas obras en prosa ha sido una exigencia de trabajadores de muchos ámbitos de la vida asalariados, desde la ciencia, los negocios y la industria hasta el derecho, la religión y la política. [8] La competencia escrita en prosa extensa también ha formado parte de las pruebas de calificación o certificación para profesores, funcionarios públicos y oficiales militares. [9] [10] En consecuencia, la enseñanza de la escritura es parte de la educación formal en la escuela y, en los EE. UU., en la universidad. ¿Cómo se puede evaluar mejor esa competencia para componer prosa extensa? Partes aisladas pueden comprobarse con preguntas "objetivas" de respuesta corta: ortografía y puntuación correctas, por ejemplo. Estos ítems se califican con altos grados de confiabilidad. Pero, ¿qué tan bien evalúan las preguntas el potencial o los logros al escribir pasajes extensos coherentes y significativos? Probar a los candidatos haciéndolos escribir fragmentos de discursos extensos parece un método de evaluación más válido. Sin embargo, ese método plantea la cuestión de la fiabilidad. ¿Con qué fiabilidad se puede juzgar el valor de un escrito entre los lectores y entre los episodios de evaluación? Los profesores y otros jueces confían en su conocimiento de la materia y en su comprensión de la buena y la mala escritura, pero esta confianza en el "experto" [11] ha sido cuestionada durante mucho tiempo. Se ha demostrado que expertos con el mismo conocimiento otorgan puntuaciones muy diferentes a los mismos ensayos. [12] [13] [14] [15] La puntuación holística, con su atención tanto a la confiabilidad como a la validez, se ofrece como un mejor método para juzgar la competencia escrita. Prestando atención a la equidad, también puede centrarse en las consecuencias del uso de la puntuación. [dieciséis]

Modelo

Mientras que la calificación analítica implica juicios criterio por criterio, la calificación holística evalúa el trabajo de los estudiantes como entidades integradas. En la calificación holística, el desempeño del alumno se aborda como uno solo y no se puede reducir ni dividir en varios componentes. [17] Aquí, los profesores deben considerar aspectos específicos de la respuesta del estudiante, así como la calidad del conjunto. [18]

La calificación holística opera distinguiendo el desempeño satisfactorio de uno que es simplemente adecuado o sobresaliente. [2]

Cuatro tipos de puntuación

Aunque se ha probado una amplia variedad de procedimientos para la puntuación holística, cuatro formas han establecido tradiciones distintas. [19]

evaluador agrupado

La puntuación de evaluadores agrupados suele utilizar de tres a cinco lectores independientes para cada muestra de escritura. Aunque los evaluadores trabajan a partir de una escala común de tasas y pueden tener un conjunto de artículos de muestra que ilustran esa escala ("artículos de anclaje" [20] ), por lo general han tenido un mínimo de capacitación juntos. Sus puntuaciones simplemente se suman o se promedian para obtener la puntuación final de la muestra. En Gran Bretaña, la puntuación holística de evaluadores agrupados se probó experimentalmente por primera vez en 1934, empleando diez docentes evaluadores por muestra. [21] Se puso en práctica por primera vez con más de 11 guiones de exámenes en Devon en 1939 utilizando cuatro profesores por ensayo. [22] En los Estados Unidos, la confiabilidad del evaluador fue validada de 1961 a 1966 por el Servicio de Pruebas Educativas; [23] y se utilizó, esporádicamente, en la prueba de composición en inglés del Educational Testing Service de 1963 a 1992, empleando de tres a cinco evaluadores por ensayo. [24] Un término casi sinónimo de "puntuación de evaluadores agrupados" es "evaluación distributiva" [25]

informado por rasgos

La puntuación basada en rasgos capacita a los evaluadores para calificar según una guía de puntuación (también llamada "rúbrica" ​​[26] o "lista de verificación" [27] ), un breve conjunto de criterios de escritura, cada uno de ellos escalado en formato de cuadrícula al mismo número de niveles de logro. Por ejemplo, la guía de puntuación utilizada en un estudio de 1969 sobre la escritura de los estudiantes de la City University de Nueva York tenía cinco criterios (ideas, organización, estructura de la oración, redacción y puntuación/mecánica/ortografía) y tres niveles (superior, promedio, inaceptable). [28] El fundamento de las guías de puntuación sostiene que obliga a los puntuadores a prestar atención a una serie de logros escritos y no dar una influencia indebida a uno o dos (el " efecto halo "). La puntuación basada en rasgos se acerca a los métodos de puntuación analítica en los que los evaluadores puntúan cada rasgo independientemente de los demás y luego suman las puntuaciones para obtener una puntuación final, como en la escala de Diederich. [29] La puntuación holística basada en rasgos, sin embargo, sigue siendo holística en el fondo y pide a los evaluadores que sólo tengan en cuenta algunos rasgos antes de decidirse por una única puntuación final.

Calificador ajustado

La puntuación del evaluador ajustado supone que algunos evaluadores son más precisos en sus puntuaciones que otros evaluadores. Cada artículo es leído de forma independiente por dos evaluadores y si sus puntuaciones difieren hasta cierto punto, generalmente por más de un punto en la escala de calificación, entonces el artículo es leído por un tercer lector, más experimentado. Los anotadores que provocan demasiadas terceras lecturas a veces son reentrenados durante la sesión de puntuación y, a veces, son abandonados del cuerpo de lectura. [30] [31] La puntuación holística del evaluador ajustado puede haber sido aplicada por primera vez por la Junta Examinadora del Colegio de la Universidad de Chicago en 1943. [32] Hoy en día, los servicios de pruebas comerciales a gran escala a veces utilizan la puntuación del evaluador ajustado cuando uno El evaluador de un ensayo es un ser humano capacitado y el otro una computadora programada para la puntuación automática de ensayos, por ejemplo, las pruebas GRE. [33] [34]

Evaluador único

La puntuación supervisada por un solo evaluador capacita a los evaluadores como grupo y puede proporcionarles un esquema de calificación detallado. Sin embargo, cada muestra de escritura es calificada por un solo evaluador, a menos que, mediante comprobaciones periódicas por parte de un monitor, su puntuación se considere fuera del rango de aceptabilidad y luego sea recalificada, generalmente por el supervisor. Este método, llamado "calificación única" o "muestreo", ha sido durante mucho tiempo estándar en los exámenes escolares de Gran Bretaña, aunque se ha demostrado que es menos válido que la calificación doble o la calificación múltiple. [35] [36] En los Estados Unidos, para la sección de escritura del TOEFLiBT, [37] el Servicio de Pruebas Educativas ahora utiliza la combinación de puntuación automatizada y un evaluador humano certificado.

Historia

En Gran Bretaña, la puntuación holística formal de evaluadores agrupados se propuso ya en 1924 [38] y se probó formalmente en 1934-1935. [39] Fue aplicado por primera vez en 1939 por el examinador jefe RK Robertson a más de 11 guiones en la Autoridad Examinadora Local de Devon, Inglaterra, y continuó allí durante diez años. [40] Aunque otras LEA en Gran Bretaña probaron el sistema durante las décadas de 1950 y 1960 y su confiabilidad y validez fueron muy estudiadas por investigadores británicos, no logró afianzarse. La calificación múltiple de guiones escolares, generalmente escritos para mostrar competencia en áreas temáticas, dio paso en gran medida a la calificación monitoreada por un solo evaluador con esquemas de calificación analíticos. [41] [42]

En los EE. UU., Paul B. Diederich en el College of the University of Chicago administró la primera puntuación holística aplicada de muestras de escritura como un examen integral para obtener créditos en el curso de escritura de primer año. El método fue la puntuación de evaluadores ajustados con los profesores del curso como puntuadores y los miembros de la Junta Examinadora como ajustadores. [43] [44] Alrededor de 1956, el examen de Colocación Avanzada del College Board inició un sistema holístico de calificación ajustada para calificar ensayos para obtener créditos avanzados en inglés. Los evaluadores fueron profesores de secundaria, que trajeron el sistema de calificación a sus escuelas. [45] Un maestro fue Albert Lavin, quien instaló una puntuación holística similar en la escuela secundaria Sir Francis Drake en el condado de Marin, California, de 1966 a 1972, en los grados 9, 10, 11 y 12 para mostrar el progreso en la escritura escolar con respecto a aquellos. años. [46] En 1973, los profesores del sistema de universidades y colegios del Estado de California utilizaron el sistema de calificación ajustada de Colocación Avanzada para calificar los ensayos escritos por estudiantes matriculados para obtener créditos avanzados de composición en inglés. [47] La ​​puntuación holística de evaluadores agrupados fue probada ya en 1950 por el Servicio de Pruebas Educativas (utilizando el término "holístico"). [48] ​​Se aplicó por primera vez en la prueba de composición inglesa de 1963 del College Board. [49] En la educación superior, el Programa de Pruebas de los Regentes de Georgia, una prueba de habilidades lingüísticas para jóvenes en ascenso, lo utilizó ya en 1972. [50]

En Estados Unidos se produjo una expansión exponencial de la puntuación holística entre 1975 y 1990, impulsada en parte por el movimiento de responsabilidad educativa . En 1980 se llevaban a cabo evaluaciones de la escritura escolar en al menos 24 estados, la gran mayoría mediante muestras de escritura calificadas de manera integral. [51] En la educación postsecundaria, cada vez más colegios y universidades utilizaban puntuaciones holísticas para créditos avanzados, colocación en cursos de escritura de primer año, salida de cursos de escritura y calificación para el nivel junior y para títulos universitarios. Los profesores de escritura también instruían a sus alumnos sobre la puntuación holística para que pudieran juzgar la escritura de los demás, una pedagogía que se enseña en los Proyectos Nacionales de Escritura. [52]

A partir de las dos últimas décadas del siglo XX, el uso de la puntuación holística disminuyó un poco. Se estaban popularizando otros medios, quizás más válidos, para evaluar la competencia escrita de un estudiante, como los portafolios . Las universidades recurrían cada vez más a agencias de evaluación, como ACT y ETS , para que les calificaran las muestras de escritura, y en la primera década del siglo XXI esas agencias estaban haciendo parte de eso mediante la calificación automática de ensayos. Pero la puntuación holística de ensayos realizados por humanos todavía se aplica en pruebas comerciales a gran escala como el GED , el TOEFL iBT y el GRE General Test . También se utiliza para colocación o progresión académica en algunas instituciones de educación superior, por ejemplo en la Universidad Estatal de Washington . [53] Sin embargo, para la admisión y colocación en cursos de escritura, la mayoría de las universidades ahora dependen de la puntuación analítica de las habilidades de escritura en pruebas como ACT , SAT , CLEP y Bachillerato Internacional .

Validación

La puntuación holística suele estar validada por sus resultados. La coherencia entre las puntuaciones de los evaluadores, o "confiabilidad de los evaluadores", se ha calculado mediante al menos ocho fórmulas diferentes, entre ellas el porcentaje de acuerdo, el coeficiente de correlación r de Pearson, la fórmula de Spearman-Brown, el alfa de Cronbach y el kappa ponderado cuadrático. [54] [55] El costo de la puntuación se puede calcular midiendo el tiempo promedio que los evaluadores dedican a calificar una muestra de escritura, el porcentaje de muestras que requieren una tercera lectura o el gasto en estipendios para los evaluadores, salario de los líderes de sesión, refrigerios para los evaluadores, fotocopiadora, alquiler de salas, etc. Ocasionalmente, especialmente con usos de alto impacto, como en las pruebas estandarizadas para la admisión a la universidad, se hacen esfuerzos para estimar la validez concurrente de las puntuaciones. Por ejemplo, en un estudio inicial de la prueba de Desarrollo de la Educación General (GED) , el Consejo Estadounidense de Educación comparó la puntuación de un ensayo holístico experimental con la puntuación de opción múltiple existente y descubrió que las dos puntuaciones medían conjuntos de habilidades algo diferentes. [56] Más a menudo, la validez predictiva se mide comparando la puntuación holística de un estudiante con logros posteriores en cursos universitarios, generalmente el GPA del primer semestre, la calificación final de un curso de escritura del primer año o la opinión del profesor sobre la puntuación del estudiante. capacidad de escritura. Estas correlaciones suelen ser de bajas a moderadas. [57]

Crítica

La puntuación holística de la escritura atrajo críticas adversas casi desde el principio. En las décadas de 1970 y 1980 y más allá, las críticas aumentaron. [58] [59] [60] [61]

  1. Costo. En la década de 1980, cuando los exámenes eran a menudo evaluados en su totalidad por seres humanos, la calificación holística válida y confiable de una muestra de escritura requería más tiempo y, por lo tanto, más dinero que la calificación de ítems. Por ejemplo, costó $0,75 por ensayo para el primero y $0,53 para el segundo en el Programa de Pruebas de los Regentes de Georgia de 1980-1981. [62] Más adelante, en términos de gastos, la puntuación holística de artículos realizada por humanos podría competir aún menos con las pruebas de ítems puntuados por máquinas o los ensayos puntuados por máquinas, que cuestan entre la mitad y una cuarta parte del coste de la puntuación humana. [63]
  2. Diagnóstico. La queja más común sobre la puntuación holística es la escasez de información diagnóstica que proporciona. Las puntuaciones de "aprobado" (o de "3" en una escala de 4, 6 o 9 puntos) proporcionan poca orientación concreta para el estudiante, el profesor o el investigador. En los exámenes de barrera educativa, la puntuación holística puede servir a los administradores para localizar qué estudiantes no aprobaron, pero poco sirve a los profesores para ayudar a esos estudiantes a aprobar en un segundo intento. [64] [65] La necesidad de ampliar la información de diagnóstico fue la razón por la cual, en la segunda ronda de la Evaluación Nacional del Progreso Educativo (1973-1974), la Comisión de Educación de los Estados complementó la puntuación holística con una puntuación de rasgo primario de la escritura. muestras. [66] La misma razón impulsó al Sistema Internacional de Evaluación del Idioma Inglés , administrado por el British Council y la Evaluación del Idioma Inglés de Cambridge para hablantes y escritores de una segunda lengua, a adoptar la "puntuación de perfil" en 1985. [67]
  3. Rúbricas . Como lista de verificación preestablecida de algunos rasgos de escritura, cada uno de ellos escalado por igual en algunos niveles de logro, la rúbrica ha sido criticada porque es simplista, ciega a las diferencias culturales y de desarrollo y tiene premisas falsas. Cuando a un grupo de profesores de composición universitaria se les preguntó sus "criterios de evaluación" de la escritura, mencionaron no 5 o 6 criterios sino 124. [68] Si bien la rúbrica asume que los criterios son independientes entre sí, los estudios han demostrado que las puntuaciones Los lectores dan a uno o dos criterios influyen en las puntuaciones que dan a los otros criterios (el efecto halo ). [69] Los criterios preestablecidos e igualmente valorados tampoco se ajustan al desarrollo de los escritores adultos jóvenes, desarrollo que puede ser desigual, no universal y regresivo. [70] [71] [72] Fundamentalmente, las rúbricas estandarizadas proponen un resultado lingüístico predeterminado, mientras que el lenguaje nunca está determinado, nunca está libre de contexto . Las rúbricas utilizan "fórmulas deterministas para predecir resultados para sistemas complejos" [73] , una crítica que se ha dirigido a las rúbricas utilizadas para puntuaciones sumativas en pruebas a gran escala, así como para retroalimentación formativa en el aula.
  4. Descontextualización. La puntuación holística tradicional puede borrar el contexto vital de la composición, por ejemplo, la influencia sobre otros escritores que responden en un borrador improvisado y cronometrado a diferentes temas y diferentes géneros de escritura. [74] Desde el punto de vista de la retórica contrastiva , las diferencias culturales vitales de los escritores también pueden borrarse. Por ejemplo, cuando los investigadores de la Asociación Internacional para la Evaluación del Rendimiento Educativo intentaron crear medidas para calificar ensayos compuestos por estudiantes de Finlandia, Corea y Estados Unidos, descubrieron que "la puntuación holística estaría condenada al fracaso desde el principio debido a las diferencias en comunidades". [75] La puntuación holística, en particular la puntuación basada en rasgos con entrenamiento del evaluador fuertemente controlado para lograr una alta confiabilidad del evaluador, también puede ignorar la ecología de los evaluadores. El sistema de puntuación crea un conjunto de lectores forzados artificialmente a abandonar su respuesta de lectura natural mediante un consenso impuesto. [76] [77] Tales preocupaciones alentaron a instituciones como la Universidad de Ohio, la Universidad de Louisville y la Universidad Estatal de Washington a evaluar la competencia escrita de los estudiantes con portafolios de sus ensayos escritos en clases anteriores. [78]
  5. Justicia. Aunque se ha defendido que la puntuación holística de la escritura es más justa para las minorías y los escritores de una segunda lengua que las pruebas objetivas, [79] [80] también se ha reunido evidencia para demostrar que la puntuación holística tiene sus propios problemas de imparcialidad. El coaching era menos asequible para los candidatos de bajos ingresos. [81] Los estudiantes afroamericanos tuvieron más problemas con la parte de ensayo del examen CLAST de Florida. [82] Las pautas de ensayo para la prueba de evaluación de escritura CUNY no eran "justas en contenido ni culturales" y planteaban más problemas para los escritores hispanos y de otras lenguas segundas. [83] El Servicio de Pruebas Educativas ha mostrado una preocupación de larga data sobre la imparcialidad de las pruebas, [84] [85] aunque actualmente la investigación sobre resultados injustos de la puntuación holística probablemente va por detrás de las intuiciones de los profesionales y probablemente necesite aplicar un análisis estadístico más discriminante para documentar esos resultados. [86]

Proyectos que utilizan calificación holística

Muchas instituciones utilizan calificaciones holísticas al evaluar la escritura de los estudiantes como parte de un requisito de graduación. [3] Algunos ejemplos incluyen:

Referencias

  1. ^ Nordquist, Richard (7 de marzo de 2017). "¿Qué es la calificación holística?". PensamientoCo . Consultado el 11 de diciembre de 2018 .
  2. ^ ab Obispo, Alan; Clementos, MA (Ken); Keitel-Kreidt, Christine; Kilpatrick, Jeremy; Laborde, Colette (2012). Manual internacional de educación matemática . Dordrecht: Springer Science & Business Media. págs. 354–355. ISBN 978-94-010-7155-0.
  3. ^ ab "Conozca sus términos: rúbricas holísticas, analíticas y de un solo punto". Culto a la Pedagogía . 2014-05-01 . Consultado el 11 de diciembre de 2018 .
  4. ^ "Puntuación holística con más detalle". escribiendo.colostate.edu . Consultado el 11 de diciembre de 2018 .
  5. ^ Cooper, CR (1977). "Evaluación Holística de la Escritura". En CR Cooper y L. Odell (Eds.), Evaluación de la escritura: describir, medir, juzgar , 3-31. Urbana, IL: Consejo Nacional de Profesores de Inglés.
  6. ^ Myers, M. (1980). "Un procedimiento para la evaluación de la escritura y la puntuación holística" . Urbana, IL: Consejo Nacional de Profesores de Inglés.
  7. ^ Blanco, EM (1986). Enseñanza y evaluación de la escritura: avances recientes en la comprensión, evaluación y mejora del desempeño de los estudiantes . San Francisco: Editores Jossey-Bass.
  8. ^ Oliveri, ME y McCulla, L. (2019). Uso de la base de datos de la red ocupacional para evaluar y mejorar la comunicación en inglés en el lugar de trabajo (Informe de investigación n.° RR-19-2). Princeton, Nueva Jersey: Servicio de pruebas educativas.
  9. ^ Ballard, PB (1923). El nuevo examinador . Londres: University of London Press.
  10. ^ Elliot, N. (2005). En una escala: una historia social de la evaluación de la escritura en Estados Unidos . Nueva York: Peter Lang.
  11. ^ Weir, CJ, Vidakovic, I. y Galaczi, ED (2013). Constructos medidos: una historia de los exámenes de idioma inglés de Cambridge 1913-2012. Cambridge, Inglaterra: Cambridge University Press
  12. ^ Edgeworth, año fiscal (1988). "Las estadísticas de los exámenes". Revista de la Royal Statistical Society 51 : 599-635.
  13. ^ Edgeworth, año fiscal (1890). "El elemento de azar en los concursos". Revista de la Royal Statistical Society 53 : 460-475, 644-663.
  14. ^ Starch, D. y Elliott, EC "La confiabilidad de calificar el trabajo de la escuela secundaria". Revisión escolar 20 : 254-259 .
  15. ^ Thomas, CW y col. (1931). Examinar el examen en inglés: un informe para la junta de examen de ingreso a la universidad . Cambridge, MA: Harvard University Press.
  16. ^ Slomp, D., Corrigan, J. y Sugimoto, T. (2014). "Un marco para utilizar evidencia de validez consecuencial en la evaluación de evaluaciones de escritura a gran escala". Investigación en la Enseñanza del Inglés , 48(3): 276-302.
  17. ^ Joughin, Gordon (2008). Evaluación, Aprendizaje y Juicio en la Educación Superior . Cham: Springer Science & Business Media. pag. 48.ISBN​ 978-1-4020-8904-6.
  18. ^ Franck, Olof (2017). Evaluación en Educación Ética: Un Caso de Pruebas Nacionales en Educación Religiosa . Cham, Suiza: Springer. pag. 72.ISBN​ 978-3-319-50768-2.
  19. ^ Los siguientes nombres están tomados de Haswell, R. y Elliot, N. (2019). Puntuación holística temprana de la escritura: una teoría, una historia, una reflexión . Logan, UT: Prensa de la Universidad Estatal de Utah, págs.
  20. ^ Coffman, W. (1971). "Sobre la confiabilidad de las calificaciones de los exámenes de ensayo en inglés". Investigando en la Enseñanza del Inglés 5 (1): 24-36.
  21. ^ Hartog, PJ, Rhodes, EC y Burt, CL (1936). Las calificaciones de los examinadores: una comparación de las calificaciones asignadas a los guiones de examen por examinadores independientes y juntas de examinadores, junto con una sección sobre un examen Viva Voce . Londres: Macmillan.
  22. ^ Hombre sabio, S. (1949). "La calificación de la composición inglesa en la selección de escuelas primarias". Revista Británica de Psicología Educativa 19 (3): 200-209.
  23. ^ Godshalk, FI, Swineford, F. y Coffman, WE (1966). La medida de la capacidad de escritura . Nueva York: Junta de Examen de Ingreso a la Universidad.
  24. ^ Elliot (2005, págs. 158-165.
  25. ^ Whithaus, C. (2010). "Evaluación distributiva", Bibliografía de investigación WPA-CompPile, No. 3. Bibliografías WPA-CompPile
  26. ^ Eley, por ejemplo (1956). "Prueba de las artes del lenguaje". Revista de lengua moderna 40 (6): 310-315.
  27. ^ Scriven, M. (1974). "Lista de Verificación para la Evaluación de Productos, Productores y Propuestas". En WJ Popham (Ed.), Evaluación en educación: aplicaciones actuales , 7-33. Berkeley, CA: McCutchan Publishing Co.
  28. ^ Bossone, RM (1969). Los problemas de escritura de los estudiantes de recuperación de inglés en el Community College de la City University de Nueva York . Nueva York: Unidad de Investigación y Evaluación de Programas Especiales de CUNY. Servicio de reproducción de documentos ERIC, ED 028 778
  29. ^ Diederich, PB (1966). "Cómo medir el crecimiento en la capacidad de escritura". Revista inglesa 55 (4): 435-449.
  30. ^ Blanco (1985), págs.23-26.
  31. ^ Haswell y Elliot (2019), págs.99-109
  32. ^ Diederich, PB (1946). "La medida de la habilidad en la escritura". Revisión escolar 54 (10): 584-592.
  33. ^ Deane, P., Williams, F., Weng, V. y Trapani, CS (2013). "Puntuación automatizada de ensayos en evaluaciones innovadoras de escritura a partir de fuentes". Revista de evaluación de escritura 6 (2013). Consultado el 10 de enero de 2022.
  34. ^ Servicio de pruebas educativas. Preguntas frecuentes sobre el motor de puntuación e-rater. Consultado el 9 de enero de 2021.
  35. ^ Weir, Vidakovic y Galaczi, pág. 201.
  36. ^ Oficina de Calificaciones y Exámenes. (2014). Revisión de la investigación sobre doble marcado , p. 10. Coventry: Ofqual.
  37. ^ "Sección de redacción del examen TOEFL iBT". www.ets.org . Servicio de pruebas educativas . Consultado el 25 de febrero de 2022 .
  38. ^ Boyd, W. (1924). Dispositivos de medida en composición, ortografía y aritmética . Londres: Harran.
  39. ^ Hartog, PJ, Rhodes, EC y Burt, CL (1946).
  40. ^ Sabio, S.
  41. ^ Brooks, V. (1980). Mejora de la confiabilidad de la calificación de ensayos: un estudio de la literatura con especial referencia a la composición del idioma inglés . Certificado de informe del proyecto de investigación en educación secundaria 5. Leicester: Universidad de Leicester.
  42. ^ Hamp-Lyons, L. (2016). "¿Adiós a la puntuación holística?" Evaluación de la escritura 27 : A1-A2; 29 : A1-A5.
  43. ^ Diederich, PB (1946). "Medición de la habilidad en escritura". Revisión escolar 54 (10): 584-592.
  44. ^ Haswell y Elliot, págs.99-109
  45. ^ Fuess, CM (1950). The College Board: sus primeros cincuenta años . Nueva York: Columbia University Press.
  46. ^ Haswell y Elliot, págs. 160-163.
  47. ^ White, E. y el Consejo Inglés de las Universidades y Colegios del Estado de California, con Friedrich, G., Burbank, R. y Cowell, W. (1973). Comparación y contraste: examen de equivalencia de inglés de la Universidad Estatal de California y sus universidades de 1973 . Los Ángeles, CA: Oficina del Canciller, Universidad y facultades del Estado de California. Servicio de reproducción de documentos ERIC, ED 114 825.
  48. ^ Cobarde, AF (1952). "Una comparación de dos métodos para calificar composiciones en inglés". Revista de Investigación Educativa 46 (2): 81-93.
  49. ^ Elliot (2005), págs.158-165.
  50. ^ Rentz, RR (1984). "Prueba de escritura escribiendo". Medición educativa: cuestiones y prácticas 3 (4): 4.
  51. ^ McCready, M. y Melton, VS (1983). "Problemas al evaluar la redacción en un programa estatal". Notas escritas de la Red Nacional de Pruebas 2 : 18, 22. Consultado el 9 de enero de 2022.
  52. ^ Proyecto Nacional de Escritura. (2017). El Proyecto Nacional de Escritura ofrece servicios de evaluación de escritura de alta calidad. Consultado el 9 de enero de 2022.
  53. ^ "Portafolio de redacción universitaria". programadeescritura.wsu.edu . Universidad Estatal de Washington . Consultado el 25 de febrero de 2022 .
  54. ^ Cherry, RD y Meyer, PR (1993). "Problemas de confiabilidad en la puntuación holística". En MM Williamson y BA Huot, Validación de la puntuación holística para la evaluación de la escritura: fundamentos teóricos y empíricos , págs. 109-141. Cresskill, Nueva Jersey: Hampton Press.
  55. ^ Williamson, D. M, Xi, X y Breyer, FJ (2012) "Un marco para la evaluación y el uso de la puntuación automatizada". Medición educativa: problemas y prácticas 31 (1): 2-13.
  56. ^ Swartz, R., Patience, WM y Whitney, DR (1985). Agregar un ensayo a la prueba de habilidades de escritura del GED: cuestiones de confiabilidad y validez. Estudios de investigación n.º 7 del servicio de pruebas de GED. Servicio de pruebas de educación general: Washington, DC Consultado el 10 de enero de 2022.
  57. ^ Hayes, JR, Hatch, JA y Silk, CM (2000). "¿La evaluación holística predice el rendimiento en escritura? Estimación de la coherencia del rendimiento de los estudiantes en tareas de escritura con puntuación holística". Comunicación escrita 17 (1): 3-26. [1] Hombre sabio (1949), pág. 206.
  58. ^ Mellon, JC (1972). "Revisión [de los Informes de Evaluación Nacional de Progreso Educativo 3 y 5]. Investigación en la Enseñanza del Inglés 6 (1): 86-105.
  59. ^ Gray, JR y Ruth, LR (Eds.) Propiedades de las tareas de escritura: un estudio de procedimientos alternativos para la evaluación holística . Informe final del Instituto Nacional de Educación, NIE-G-80-0034. Berkeley, CA: Universidad de California, Berkeley. Servicio de reproducción de documentos ERIC, ED 230576. Consultado el 12 de enero de 2022.
  60. ^ Charney, D. (1984). "La validez de utilizar la puntuación holística para evaluar la escritura: una descripción general crítica". Investigación en la Enseñanza del Inglés 18 (1): 65-83.
  61. ^ Purves, AC (1984). "En busca de un esquema válido internacionalmente para la puntuación de composiciones". Composición y comunicación universitaria 35 (4): 426-438.
  62. ^ Hudson, SA y Ternera, LR (1981). Una investigación empírica de medidas directas e indirectas de la escritura: Informe del proyecto de evaluación de la escritura educativa basada en competencias de Georgia de 1980-1981. Servicio de reproducción de documentos ERIC, ED 205 993.
  63. ^ Topol, B., Olson, J. y Roeber, E. (2014). "Estudio de precios: puntuación automática de ensayos de estudiantes". Volviéndose inteligente . Consultado el 20 de enero de 2022.
  64. ^ Barón, JB (1984). "Evaluación de la escritura en Connecticut: una mirada holística hacia la identificación y una mirada analítica hacia la instrucción". Medición educativa: problemas y práctica 3 (1): 27-28, 38.
  65. ^ Elliot, N., Plata, M. y Zelhart, PF (1990). Manual de desarrollo de programas para la evaluación holística de la escritura. Lanham, MD: University Press of America.
  66. ^ Mullis, IVS (1967). "El sistema de rasgos primarios para calificar tareas de escritura" . Comisión de Educación de los Estados: Denver, CO. Servicio de reproducción de documentos ERIC, ED 202 761. Consultado el 12 de enero de 2022.
  67. ^ Hamp-Lyons, L. (1987). "De la puntuación holística a la puntuación del perfil de escritura académica específica". Notas de la Red Nacional de Pruebas 7 (7). Consultado el 12 de enero de 2022.
  68. ^ Amplio, B. (2003). Lo que realmente valoramos: más allá de las rúbricas en la enseñanza y evaluación de la escritura . Logan, UT: Prensa de la Universidad Estatal de Utah.
  69. ^ Freedman, SW (1979). "Cómo las características de los ensayos de los estudiantes influyen en las evaluaciones de los profesores". Revista de Psicología Educativa 73 (3): 328-338.
  70. ^ Feldman, DH (1980). Más allá de los universales en el desarrollo cognitivo . Norwood, Nueva Jersey: Ablex.
  71. ^ Bever, TG (Ed.) (1982). Regresión en el desarrollo mental: fenómenos y teorías básicos . Hillsdale, Nueva Jersey: Erlbaum.
  72. ^ Knoblauch, CH y Brannon, L. (1984). Tradiciones retóricas y enseñanza de la escritura . Upper Montclair, Nueva Jersey: Boynton/Cook.
  73. ^ Wilson, M. (2018), Reimaginar la evaluación de la escritura: de escalas a historias , p. xx. Portsmouth, Nueva Hampshire: Heinemann.
  74. ^ Gray y Ruth (1982).
  75. ^ Wesdorp, H., Bauer, BA y Purves, AC (1982). "Hacia una conceptualización de la puntuación de la composición escrita". Evaluación en Educación 5 (3): 299-315.
  76. ^ Gere, AR (1980). "Composición escrita: hacia una teoría de la evaluación". Inglés universitario 42 (1): 44-58.
  77. ^ Raymond, JC (1982). "Lo que no sabemos sobre la evaluación de la escritura". Composición y comunicación universitaria 33 (4): 399-403.
  78. ^ Belanoff, P. y Dickson, M., Eds. (1991). Portafolios: Proceso y Producto . Portsmouth, NH: Boyton/Cook Publishers.
  79. ^ White, EM y Thomas, LL (1981). "Evaluación de las habilidades de escritura y minorías raciales en las universidades y facultades del estado de California". Inglés universitario 43 (3): págs.
  80. ^ Shaefer, R. y Rankin, D. (1985), "Modelos estatales de certificación de docentes". Notas escritas de la Red Nacional de Pruebas 5: 5-6. Consultado el 12 de enero de 2022.
  81. ^ Barbechos, J. (1980). La prueba y los 'más brillantes': ¿Cuán justos son los College Boards? El Atlántico 245 (2): 37-48.
  82. ^ Rubin, SJ (1982). "El proyecto de habilidades académicas a nivel universitario de Florida: prueba de habilidades de comunicación en todo el estado". Notas escritas de la Red Nacional de Pruebas 1 (5): 18. . Consultado el 12 de enero de 2022.
  83. ^ Ruiz, A. y Díaz, D. (1983). "Evaluación de escritura y estudiantes de ESL". Notas escritas de la Red Nacional de Pruebas 3 : 5. Consultado el 12 de enero de 2022.
  84. ^ Breland, H. y Ironson, GH (1976). "DeFunis reconsiderado: un análisis comparativo de estrategias de admisión alternativas". Revista de Medición Educativa 13 (1): 89-99.
  85. ^ Breland, HM (1977). Comparaciones de grupos para la prueba de inglés escrito estándar . Servicio de reproducción de documentos ERIC ED 146228. Consultado el 12 de enero de 2022.
  86. ^ Poe, M. y Elliot, N. (2019). "Evidencia de equidad: veinticinco años de investigación en la evaluación de la escritura". Evaluación de la escritura 42 : 100418. Consultado el 10 de enero de 2022.
  87. ^ "Evaluación externa de la NCEA: calificación de calificaciones". www.nzqa.govt.nz. ​Consultado el 11 de diciembre de 2018 .
  88. ^ "Cómo se califica el examen general GRE (para los examinados)". www.ets.org . Consultado el 11 de diciembre de 2018 .