El modelado de valor agregado (también conocido como medición de valor agregado , análisis de valor agregado y evaluación de valor agregado ) es un método de evaluación docente que mide la contribución del maestro en un año determinado comparando los puntajes de las pruebas actuales de sus estudiantes con los puntajes. de esos mismos estudiantes en años escolares anteriores, así como a las calificaciones de otros estudiantes en el mismo grado. De esta manera, el modelo de valor agregado busca aislar la contribución, o valor agregado , que cada docente proporciona en un año determinado, que puede compararse con las medidas de desempeño de otros docentes. Se considera que los VAM son más justos que simplemente comparar los puntajes de rendimiento de los estudiantes o los puntajes obtenidos sin considerar variables de contexto potencialmente confusas como el desempeño anterior o los ingresos. También es posible utilizar este enfoque para estimar el valor agregado por el director de la escuela o la escuela en su conjunto.
Los críticos dicen que el uso de pruebas para evaluar a profesores individuales no ha sido validado científicamente y que muchos de los resultados se deben al azar o a condiciones fuera del control del profesor, como la tutoría externa. [1] Las investigaciones muestran, sin embargo, que las diferencias en la eficacia docente medida por el valor agregado de los docentes están asociadas con pequeños efectos económicos en los estudiantes. [2]
Los investigadores utilizan procesos estadísticos sobre los puntajes de exámenes anteriores de un estudiante para predecir los puntajes de exámenes futuros del estudiante, asumiendo que los estudiantes generalmente obtienen aproximadamente tan bien cada año como en años anteriores. Luego, la puntuación real del estudiante se compara con la puntuación prevista. Se supone que la diferencia entre las puntuaciones previstas y las reales, si las hay, se debe al maestro y la escuela, más que a la capacidad natural del estudiante o a sus circunstancias socioeconómicas.
De esta manera, el modelado de valor agregado intenta aislar las contribuciones del maestro de factores fuera de su control que se sabe que afectan fuertemente el desempeño de los estudiantes en las pruebas, incluida la inteligencia general del estudiante , la pobreza y la participación de los padres.
Al agregar todos estos resultados individuales, los estadísticos pueden determinar cuánto mejora un maestro en particular el rendimiento de los estudiantes, en comparación con cuánto habría mejorado el rendimiento de los estudiantes el maestro típico.
Los estadísticos utilizan modelos lineales jerárquicos para predecir la puntuación de un estudiante determinado en un aula determinada en una escuela determinada. Esta predicción se basa en los resultados agregados de todos los estudiantes. El puntaje previsto de cada estudiante puede tener en cuenta el nivel del estudiante (p. ej., desempeño anterior, estatus socioeconómico, raza/etnia), el nivel del maestro (p. ej., certificación, años de experiencia, título más alto obtenido, prácticas docentes, materiales educativos, plan de estudios) y el nivel escolar. (por ejemplo, tamaño, tipo, entorno) variables en consideración. Las variables que se incluyen dependen del modelo.
En 2010 [actualizar], algunos distritos escolares de Estados Unidos habían adoptado el sistema, incluidas las Escuelas Públicas de Chicago , el Departamento de Educación de la ciudad de Nueva York y las Escuelas Públicas del Distrito de Columbia . Las clasificaciones se han utilizado para decidir sobre cuestiones de retención de docentes y la concesión de bonificaciones, así como una herramienta para identificar a aquellos docentes que se beneficiarían más de la formación docente. [1] Bajo Race to the Top y otros programas que abogan por mejores métodos para evaluar el desempeño de los docentes, los distritos han buscado modelos de valor agregado como complemento a la observación de los docentes en las aulas. [1]
El legislador de Luisiana Frank A. Hoffmann presentó un proyecto de ley para autorizar el uso de técnicas de modelado de valor agregado en las escuelas públicas del estado como medio para recompensar a los maestros fuertes e identificar métodos pedagógicos exitosos, además de proporcionar un medio para brindar desarrollo profesional adicional a los estudiantes. aquellos docentes identificados como más débiles que otros. A pesar de la oposición de la Federación de Maestros de Luisiana, el proyecto de ley fue aprobado por el Senado del estado de Luisiana el 26 de mayo de 2010 y el gobernador Bobby Jindal lo promulgó inmediatamente . [3]
Los expertos no recomiendan utilizar modelos de valor agregado como único determinante de cualquier decisión. [4] En cambio, recomiendan utilizarlo como un factor importante en un programa de evaluación multifacético. [5]
Como sistema de evaluación basado en normas , el desempeño del docente se compara con los resultados observados en otros docentes del grupo de comparación elegido. Por lo tanto, es posible utilizar este modelo para inferir que un docente es mejor, peor o igual que el docente típico, pero no es posible utilizar este modelo para determinar si un determinado nivel de desempeño es deseable.
Debido a que el puntaje esperado de cada estudiante se deriva en gran medida de los puntajes reales del estudiante en años anteriores, es difícil utilizar este modelo para evaluar a los maestros de jardín de infantes y primer grado. Algunas investigaciones limitan el modelo a profesores de tercer grado y superiores.
Es posible que las escuelas no puedan obtener los puntajes anteriores de los nuevos estudiantes de las escuelas anteriores de los estudiantes, o que los puntajes no sean útiles debido a la no comparabilidad de algunas pruebas. Una escuela con altos niveles de rotación de estudiantes puede tener dificultades para recopilar datos suficientes para aplicar este modelo. Cuando los estudiantes cambian de escuela a mitad de año, su progreso durante el año no es únicamente atribuible a sus maestros finales.
Las puntuaciones de valor agregado son más sensibles a los efectos del profesor en matemáticas que en lengua. [4] Esto puede deberse al uso generalizado de pruebas mal diseñadas para las habilidades de lectura y lenguaje, o puede deberse a que los profesores, en última instancia, tienen menos influencia sobre el desarrollo del lenguaje. [4] Los estudiantes aprenden habilidades lingüísticas de muchas fuentes, especialmente de sus familias, mientras que aprenden habilidades matemáticas principalmente en la escuela.
Hay cierta variación en las puntuaciones de un año a otro y de una clase a otra. Esta variación es similar a las medidas de desempeño en otros campos, como la Major League Baseball y, por lo tanto, puede reflejar variaciones reales y naturales en el desempeño del maestro. [4] Debido a esta variación, las puntuaciones son más precisas si se derivan de un gran número de estudiantes (normalmente 50 o más). Como resultado, es difícil utilizar este modelo para evaluar a los profesores de primer año, especialmente en la escuela primaria, ya que es posible que solo hayan enseñado a 20 estudiantes. Una clasificación basada en una sola clase probablemente clasificará correctamente al profesor aproximadamente el 65% de las veces. Esta cifra aumenta al 88% si se dispone de datos de diez años. [6] Además, debido a que el intervalo de confianza es amplio, el método es más confiable cuando se identifica a los docentes que se encuentran consistentemente en el 10% superior o inferior, en lugar de tratar de establecer distinciones sutiles entre los docentes que producen logros más o menos típicos, como intentar determinar si un maestro debe ser calificado como ligeramente por encima o ligeramente por debajo de la mediana. [6]
Las puntuaciones de valor agregado suponen que los estudiantes son asignados aleatoriamente a los profesores. En realidad, los estudiantes rara vez son asignados aleatoriamente a profesores o escuelas. Según el economista y profesor Dr. Jesse M. Rothstein de la Universidad de California, Berkeley , "la asignación no aleatoria de estudiantes a profesores puede sesgar las estimaciones del valor añadido de los efectos causales de los profesores". [7] La cuestión del posible sesgo en el uso de medidas de valor agregado ha sido objeto de considerables estudios recientes, y otros investigadores llegan a la conclusión de que las medidas de valor agregado sí proporcionan buenas estimaciones de la eficacia docente. Véase, por ejemplo, el trabajo reciente del proyecto Medidas de enseñanza efectiva [8] y el análisis de cómo las medidas de valor agregado se relacionan con los ingresos futuros realizado por el profesor Raj Chetty de Harvard y sus colegas. [9]
La idea de juzgar la eficacia de los profesores en función de los avances en el aprendizaje de los estudiantes fue introducida por primera vez [10] en la literatura de investigación en 1971 por Eric Hanushek , [11] actualmente miembro principal del Conservador [12] [13] [14]. Hoover Institution , un think tank estadounidense sobre políticas públicas ubicado en la Universidad de Stanford en California . Posteriormente fue analizado por Richard Murnane de la Universidad de Harvard, entre otros. [15] El enfoque se ha utilizado en una variedad de análisis diferentes para evaluar la variación en la efectividad de los docentes dentro de las escuelas, y la estimación ha mostrado diferencias grandes y consistentes entre los docentes en el ritmo de aprendizaje de sus estudiantes. [dieciséis]
El estadístico William Sanders , gerente senior de investigación de SAS , introdujo el concepto en las operaciones escolares cuando desarrolló modelos de valor agregado para los distritos escolares de Carolina del Norte y Tennessee . Creada por primera vez como herramienta de evaluación de docentes para programas escolares en Tennessee en la década de 1990, el uso de la técnica se amplió con la aprobación de la legislación Que Ningún Niño Se Quede Atrás en 2002. Basándose en su experiencia e investigación, Sanders argumentó que "si se utilizan rigurosamente "Con métodos robustos y rodeados de salvaguardas, se puede distinguir de manera confiable a los docentes altamente eficaces de los docentes promedio y de los ineficaces". [1]
Un estudio de 2003 de la RAND Corporation preparado para la Carnegie Corporation de Nueva York decía que los modelos de valor añadido "prometerían separar los efectos de los profesores y las escuelas de los poderosos efectos de factores no educativos como los antecedentes familiares" y que los estudios habían demostrado que había una amplia variación en las puntuaciones de los docentes al utilizar dichos modelos, lo que podría hacer que los modelos de valor agregado sean una herramienta eficaz para evaluar y recompensar el desempeño de los docentes si se pudiera fundamentar que la variabilidad está vinculada al desempeño de los docentes individuales. [17]
Los Angeles Times informó sobre el uso del programa en las escuelas de esa ciudad, creando un sitio web con capacidad de búsqueda que proporcionaba la puntuación calculada por el sistema de modelado de valor agregado para 6.000 maestros de escuelas primarias del distrito. El secretario de Educación de los Estados Unidos, Arne Duncan, elogió los informes del periódico sobre las puntuaciones de los docentes y lo citó como un modelo de mayor transparencia, aunque señaló que una mayor apertura debe equilibrarse con las preocupaciones relativas a la "privacidad, la justicia y el respeto por los docentes". [1] En febrero de 2011, Derek Briggs y Ben Domingue del Centro Nacional de Políticas Educativas (NEPC) publicaron un informe que volvía a analizar el mismo conjunto de datos del Distrito Escolar Unificado de Los Ángeles, intentando replicar los resultados publicados en el Times , y encontraron graves limitaciones de la investigación anterior, concluyendo que la "investigación en la que se basó Los Angeles Times para su informe sobre la eficacia docente de agosto de 2010 fue demostrablemente inadecuada para respaldar las clasificaciones publicadas". [18]
La Fundación Bill y Melinda Gates patrocina un estudio de varios años sobre modelos de valor agregado con su programa Medidas de enseñanza efectiva. Los resultados iniciales, publicados en diciembre de 2010, indican que tanto el modelado de valor agregado como la percepción de los estudiantes sobre varios rasgos clave de los docentes, como el control del aula y desafiar a los estudiantes con un trabajo riguroso, identifican correctamente a los docentes eficaces. [4] El estudio sobre las evaluaciones de los estudiantes fue realizado por Ronald Ferguson . El estudio también descubrió que los profesores que enseñan para los exámenes son mucho menos efectivos y tienen puntuaciones de modelado de valor agregado significativamente más bajas que los profesores que promueven una comprensión conceptual profunda del plan de estudios completo. [4] Sin embargo , un nuevo análisis de los resultados del informe MET realizado por Jesse Rothstein, economista y profesor de la Universidad de California, Berkeley , cuestiona algunas de estas interpretaciones. [19] Rothstein sostiene que los análisis del informe no respaldan las conclusiones y que "interpretados correctamente... [ellos] socavan en lugar de validar los enfoques de evaluación docente basados en el valor agregado". [20] Sin embargo, un trabajo más reciente del proyecto MET valida el uso de enfoques de valor añadido. [8]
La idea general de modelado de valor agregado también se ha extendido para considerar a los directores y líderes escolares. Si bien ha habido un considerable debate anecdótico sobre la importancia de los líderes escolares, ha habido muy poca investigación sistemática sobre su impacto en los resultados de los estudiantes. Un análisis reciente en Texas ha proporcionado evidencia sobre la efectividad de los líderes al observar cómo cambian los logros en el rendimiento estudiantil de una escuela después de que cambia el director. Este enfoque basado en resultados para medir la eficacia de los directores es muy similar al modelo de valor agregado que se ha aplicado a la evaluación de los docentes. Las primeras investigaciones en Texas encuentran que los directores tienen un impacto muy grande en el rendimiento de los estudiantes. [21] Las estimaciones conservadoras indican que un líder escolar eficaz mejora el rendimiento de todos los estudiantes de una escuela, con una magnitud equivalente en promedio a dos meses adicionales de aprendizaje para los estudiantes en cada año escolar. Estos avances se deben, al menos en parte, al impacto del director en la selección y retención de buenos maestros. Sin embargo, los directores ineficientes tienen un efecto negativo similar en el desempeño escolar, lo que sugiere que las cuestiones de evaluación son tan importantes con respecto al liderazgo escolar como lo son para los docentes.
Un informe publicado por el Instituto de Política Económica en agosto de 2010 reconoció que "las escuelas públicas estadounidenses generalmente hacen un mal trabajo al desarrollar y evaluar sistemáticamente a los docentes", pero expresó su preocupación de que utilizar el desempeño en pruebas estandarizadas como herramienta de medición no conducirá a un mejor desempeño. El informe del EPI recomienda que las medidas de desempeño basadas en los puntajes de las pruebas estandarizadas sean un factor entre muchos que deberían considerarse para "proporcionar una visión más precisa de lo que los maestros realmente hacen en el aula y cómo eso contribuye al aprendizaje de los estudiantes". El estudio calificó el modelado de valor agregado como un medio más justo de comparar maestros que permite mejores medidas de las metodologías educativas y el desempeño escolar general, pero argumentó que los puntajes de las pruebas de los estudiantes no eran lo suficientemente confiables como medio para tomar "decisiones personales de alto riesgo". [22]
Edward Haertel, que dirigió el equipo de investigación del Instituto de Política Económica, escribió que las metodologías impulsadas como parte del programa Race to the Top pusieron "demasiado énfasis en medidas de crecimiento en el rendimiento estudiantil que aún no han sido estudiadas adecuadamente para los propósitos de evaluar a profesores y directores" y que las técnicas de modelización de valor añadido deben evaluarse más exhaustivamente y sólo deben utilizarse "en proyectos piloto cuidadosamente estudiados". [1]
El investigador de políticas educativas Gerald Bracey argumentó además que es posible que una correlación entre los docentes y los cambios a corto plazo en los puntajes de las pruebas pueda ser irrelevante para la calidad real de la enseñanza. Por lo tanto, "no puede permitir inferencias causales sobre profesores individuales. En el mejor de los casos, es un paso inicial para identificar a los profesores que podrían necesitar desarrollo profesional adicional". [23]
La Asociación Estadounidense de Estadística emitió un comunicado el 8 de abril de 2014 criticando el uso de modelos de valor agregado en la evaluación educativa, sin descartar la utilidad de dichos modelos. La ASA citó limitaciones de los datos de entrada, la influencia de factores no incluidos en los modelos y grandes errores estándar que resultan en clasificaciones inestables de un año a otro. [24]
John Ewing, escribiendo en Notices of the American Mathematical Society, criticó el uso de modelos de valor agregado en la evaluación educativa como una forma de "intimidación matemática" y un "arma retórica". Ewing citó problemas con los datos de entrada y la influencia de factores no incluidos en el modelo. [25]
Se han implementado varias alternativas para la evaluación docente:
La mayoría de los expertos recomiendan utilizar múltiples medidas para evaluar la eficacia docente. [27]
Construyendo un mejor maestro.