El modelado de valor agregado (también conocido como medición de valor agregado , análisis de valor agregado y evaluación de valor agregado ) es un método de evaluación de docentes que mide la contribución del docente en un año determinado comparando los puntajes de las pruebas actuales de sus estudiantes con los puntajes de esos mismos estudiantes en años escolares anteriores, así como con los puntajes de otros estudiantes en el mismo grado. De esta manera, el modelado de valor agregado busca aislar la contribución, o valor agregado , que cada docente proporciona en un año determinado, que se puede comparar con las medidas de desempeño de otros docentes. Se considera que los VAM son más justos que simplemente comparar los puntajes de rendimiento de los estudiantes o los puntajes de ganancia sin considerar variables de contexto potencialmente confusas como el desempeño pasado o los ingresos. También es posible utilizar este enfoque para estimar el valor agregado por el director de la escuela o la escuela en su conjunto.
Los críticos sostienen que el uso de pruebas para evaluar a los docentes individuales no ha sido validado científicamente y que muchos de los resultados se deben al azar o a condiciones que están fuera del control del docente, como las tutorías externas. [1] Sin embargo, las investigaciones muestran que las diferencias en la efectividad de los docentes, medidas en función del valor agregado de los docentes, están asociadas con pequeños efectos económicos en los estudiantes. [2]
Los investigadores utilizan procesos estadísticos sobre las puntuaciones de exámenes anteriores de un estudiante para predecir las puntuaciones futuras del estudiante, partiendo del supuesto de que los estudiantes suelen obtener aproximadamente las mismas puntuaciones cada año que en años anteriores. A continuación, se compara la puntuación real del estudiante con la puntuación prevista. Se supone que la diferencia entre las puntuaciones previstas y las reales, si las hubiera, se debe al profesor y a la escuela, y no a la capacidad natural del estudiante o a sus circunstancias socioeconómicas.
De esta manera, el modelado de valor agregado intenta aislar las contribuciones del docente de factores fuera del control del docente que se sabe que afectan fuertemente el desempeño de los estudiantes en las pruebas, incluyendo la inteligencia general del estudiante , la pobreza y la participación de los padres.
Al agregar todos estos resultados individuales, los estadísticos pueden determinar cuánto mejora un profesor en particular el rendimiento de los estudiantes, en comparación con cuánto habría mejorado el rendimiento de los estudiantes un profesor típico.
Los estadísticos utilizan modelos lineales jerárquicos para predecir la puntuación de un estudiante determinado en un aula determinada de una escuela determinada. Esta predicción se basa en los resultados agregados de todos los estudiantes. La puntuación prevista de cada estudiante puede tener en cuenta variables de nivel del estudiante (por ejemplo, rendimiento anterior, estatus socioeconómico, raza/etnia), nivel del docente (por ejemplo, certificación, años de experiencia, título más alto obtenido, prácticas de enseñanza, materiales didácticos, plan de estudios) y nivel de la escuela (por ejemplo, tamaño, tipo, entorno). Las variables que se incluyen dependen del modelo.
En 2010 [actualizar], algunos distritos escolares de los Estados Unidos habían adoptado el sistema, incluidas las Escuelas Públicas de Chicago , el Departamento de Educación de la Ciudad de Nueva York y las Escuelas Públicas del Distrito de Columbia . Las clasificaciones se han utilizado para decidir sobre cuestiones de retención de docentes y la concesión de bonificaciones, así como una herramienta para identificar a los docentes que se beneficiarían más de la formación docente. [1] En el marco de Race to the Top y otros programas que abogan por mejores métodos de evaluación del desempeño docente, los distritos han recurrido a modelos de valor añadido como complemento a la observación de los docentes en las aulas. [1]
El legislador de Luisiana Frank A. Hoffmann presentó un proyecto de ley para autorizar el uso de técnicas de modelado de valor agregado en las escuelas públicas del estado como un medio para recompensar a los maestros fuertes e identificar métodos pedagógicos exitosos, así como para proporcionar un medio para proporcionar desarrollo profesional adicional para aquellos maestros identificados como más débiles que otros. A pesar de la oposición de la Federación de Maestros de Luisiana, el proyecto de ley fue aprobado por el Senado del Estado de Luisiana el 26 de mayo de 2010 y fue inmediatamente firmado como ley por el gobernador Bobby Jindal . [3]
Los expertos no recomiendan utilizar el modelado de valor agregado como el único determinante de cualquier decisión. [4] En cambio, recomiendan utilizarlo como un factor significativo en un programa de evaluación multifacético. [5]
Como sistema de evaluación referenciado a normas , el desempeño del docente se compara con los resultados observados en otros docentes del grupo de comparación elegido. Por lo tanto, es posible utilizar este modelo para inferir que un docente es mejor, peor o igual que el docente típico, pero no es posible utilizar este modelo para determinar si un nivel dado de desempeño es deseable.
Dado que la puntuación esperada de cada estudiante se deriva en gran medida de las puntuaciones reales del estudiante en años anteriores, resulta difícil utilizar este modelo para evaluar a los maestros de jardín de infantes y primer grado. Algunas investigaciones limitan el modelo a los maestros de tercer grado y superiores.
Es posible que las escuelas no puedan obtener las calificaciones previas de los nuevos estudiantes de las escuelas a las que asistieron anteriormente, o que las calificaciones no sean útiles debido a la falta de comparabilidad de algunas pruebas. Una escuela con altos niveles de rotación de estudiantes puede tener dificultades para recopilar datos suficientes para aplicar este modelo. Cuando los estudiantes cambian de escuela a mitad de año, su progreso durante el año no es únicamente atribuible a sus últimos maestros.
Las puntuaciones de valor añadido son más sensibles a los efectos del profesor en el caso de las matemáticas que en el de la lengua. [4] Esto puede deberse al uso generalizado de pruebas mal construidas para las habilidades de lectura y lengua, o puede deberse a que los profesores, en última instancia, tienen menos influencia sobre el desarrollo del lenguaje. [4] Los estudiantes aprenden habilidades lingüísticas de muchas fuentes, especialmente sus familias, mientras que aprenden habilidades matemáticas principalmente en la escuela.
Existe cierta variación en las puntuaciones de un año a otro y de una clase a otra. Esta variación es similar a las medidas de rendimiento en otros campos, como las Grandes Ligas de Béisbol , y por lo tanto puede reflejar variaciones reales y naturales en el rendimiento del docente. [4] Debido a esta variación, las puntuaciones son más precisas si se derivan de un gran número de estudiantes (normalmente 50 o más). Como resultado, es difícil utilizar este modelo para evaluar a los maestros de primer año, especialmente en la escuela primaria, ya que pueden haber enseñado solo a 20 estudiantes. Es probable que una clasificación basada en una sola aula clasifique al docente correctamente aproximadamente el 65% de las veces. Este número aumenta al 88% si se dispone de datos de diez años. [6] Además, debido a que el intervalo de confianza es amplio, el método es más confiable cuando se identifica a los maestros que están constantemente en el 10% superior o inferior, en lugar de tratar de establecer distinciones finas entre los maestros que producen logros más o menos típicos, como tratar de determinar si un maestro debe ser calificado como ligeramente por encima o ligeramente por debajo de la mediana. [6]
Las puntuaciones de valor añadido presuponen que los estudiantes son asignados aleatoriamente a los profesores. En realidad, rara vez se asignan estudiantes aleatoriamente a los profesores o a las escuelas. Según el economista y profesor, Dr. Jesse M. Rothstein de la Universidad de California, Berkeley , "la asignación no aleatoria de estudiantes a profesores puede sesgar las estimaciones de valor añadido de los efectos causales de los profesores". [7] La cuestión del posible sesgo con el uso de medidas de valor añadido ha sido objeto de considerables estudios recientes, y otros investigadores llegan a la conclusión de que las medidas de valor añadido sí proporcionan buenas estimaciones de la eficacia de los profesores. Véase, por ejemplo, el trabajo reciente del proyecto Medidas de la enseñanza eficaz [8] y el análisis de cómo las medidas de valor añadido se relacionan con los ingresos futuros realizado por el profesor Raj Chetty de Harvard y sus colegas. [9]
La idea de juzgar la eficacia de los profesores en función de los logros de aprendizaje de los estudiantes fue introducida por primera vez [10] en la literatura de investigación en 1971 por Eric Hanushek , [11] actualmente miembro senior de la conservadora [12] [13] [14] Hoover Institution , un grupo de expertos en políticas públicas estadounidense ubicado en la Universidad de Stanford en California . Posteriormente fue analizada por Richard Murnane de la Universidad de Harvard, entre otros. [15] El enfoque se ha utilizado en una variedad de análisis diferentes para evaluar la variación en la eficacia de los profesores dentro de las escuelas, y la estimación ha mostrado diferencias grandes y consistentes entre los profesores en el ritmo de aprendizaje de sus estudiantes. [16]
El estadístico William Sanders , director de investigación de SAS, introdujo el concepto en las operaciones escolares cuando desarrolló modelos de valor añadido para los distritos escolares de Carolina del Norte y Tennessee . La técnica, que se creó inicialmente como herramienta de evaluación de los docentes para los programas escolares de Tennessee en los años 1990, se amplió con la aprobación de la ley No Child Left Behind en 2002. Basándose en su experiencia e investigación, Sanders sostuvo que "si se utilizan métodos rigurosos y sólidos y se los rodea de salvaguardas, se puede distinguir de forma fiable a los docentes altamente eficaces de los docentes promedio y de los docentes ineficaces". [1]
Un estudio de 2003 de la Corporación RAND preparado para la Corporación Carnegie de Nueva York , dijo que el modelado de valor agregado "ofrece la promesa de separar los efectos de los maestros y las escuelas de los poderosos efectos de factores no educativos como los antecedentes familiares" y que los estudios habían demostrado que había una amplia variación en las puntuaciones de los maestros cuando se usaban tales modelos, lo que podría hacer del modelado de valor agregado una herramienta eficaz para evaluar y recompensar el desempeño de los maestros si la variabilidad pudiera corroborarse como vinculada al desempeño de los maestros individuales. [17]
El diario Los Angeles Times informó sobre el uso del programa en las escuelas de esa ciudad, creando un sitio web con capacidad de búsqueda que proporcionaba la puntuación calculada por el sistema de modelado de valor añadido para 6.000 profesores de escuelas primarias del distrito. El secretario de Educación de los Estados Unidos, Arne Duncan, elogió el informe del periódico sobre las puntuaciones de los profesores y lo citó como un modelo de mayor transparencia, aunque señaló que una mayor apertura debe equilibrarse con las preocupaciones sobre "la privacidad, la equidad y el respeto por los profesores". [1] En febrero de 2011, Derek Briggs y Ben Domingue del Centro Nacional de Políticas Educativas (NEPC) publicaron un informe en el que volvían a analizar el mismo conjunto de datos del Distrito Escolar Unificado de Los Ángeles, intentando replicar los resultados publicados en el Times , y encontraron serias limitaciones en la investigación anterior, concluyendo que "la investigación en la que se basó el diario Los Angeles Times para su informe de eficacia docente de agosto de 2010 era demostrablemente inadecuada para respaldar las clasificaciones publicadas". [18]
La Fundación Bill y Melinda Gates patrocina un estudio de varios años sobre modelos de valor agregado con su programa Medidas de enseñanza efectiva. Los resultados iniciales, publicados en diciembre de 2010, indican que tanto el modelo de valor agregado como la percepción de los estudiantes de varios rasgos clave de los docentes, como el control del aula y el desafío a los estudiantes con trabajo riguroso, identifican correctamente a los docentes efectivos. [4] El estudio sobre las evaluaciones de los estudiantes fue realizado por Ronald Ferguson . El estudio también descubrió que los docentes que enseñan para el examen son mucho menos efectivos y tienen puntajes de modelos de valor agregado significativamente más bajos que los docentes que promueven una comprensión conceptual profunda del currículo completo. [4] Sin embargo, el reanálisis de los resultados del informe MET realizado por Jesse Rothstein, economista y profesor de la Universidad de California en Berkeley , cuestiona algunas de estas interpretaciones. [19] Rothstein sostiene que los análisis del informe no respaldan las conclusiones y que "interpretados correctamente... [ellos] socavan en lugar de validar los enfoques basados en el valor agregado para la evaluación de los docentes". [20] Sin embargo, trabajos más recientes del proyecto MET validan el uso de enfoques de valor agregado. [8]
La idea general de modelar el valor agregado también se ha extendido para considerar a los directores y líderes escolares. Si bien ha habido un considerable debate anecdótico sobre la importancia de los líderes escolares, ha habido muy poca investigación sistemática sobre el impacto que tienen en los resultados de los estudiantes. Un análisis reciente en Texas ha proporcionado evidencia sobre la efectividad de los líderes al observar cómo cambian las ganancias en el rendimiento de los estudiantes de una escuela después de que cambia el director. Este enfoque basado en los resultados para medir la efectividad de los directores es muy similar al modelado de valor agregado que se ha aplicado a la evaluación de los maestros. La investigación inicial en Texas encuentra que los directores tienen un impacto muy grande en el rendimiento de los estudiantes. [21] Estimaciones conservadoras indican que un líder escolar efectivo mejora el rendimiento de todos los estudiantes en una escuela, con una magnitud equivalente en promedio a dos meses de ganancias adicionales de aprendizaje para los estudiantes en cada año escolar. Estas ganancias se producen al menos en parte a través del impacto del director en la selección y retención de buenos maestros. Sin embargo, los directores ineficaces tienen un efecto negativo igualmente grande en el rendimiento escolar, lo que sugiere que las cuestiones de evaluación son tan importantes con respecto al liderazgo escolar como lo son para los maestros.
En un informe publicado por el Instituto de Política Económica en agosto de 2010 se reconoció que "las escuelas públicas estadounidenses en general hacen un trabajo deficiente en la formación y evaluación sistemática de los docentes", pero se expresó la preocupación de que el uso del desempeño en pruebas estandarizadas como herramienta de medición no conduzca a un mejor desempeño. El informe del EPI recomienda que las medidas de desempeño basadas en las puntuaciones de las pruebas estandarizadas sean un factor entre muchos que se deben considerar para "ofrecer una visión más precisa de lo que los docentes hacen de hecho en el aula y cómo eso contribuye al aprendizaje de los estudiantes". El estudio calificó el modelo de valor agregado como un medio más justo de comparar a los docentes que permite mejores mediciones de las metodologías educativas y el desempeño escolar general, pero sostuvo que las puntuaciones de las pruebas de los estudiantes no eran lo suficientemente confiables como medio para tomar "decisiones de personal de alto riesgo". [22]
Edward Haertel, quien dirigió el equipo de investigación del Instituto de Política Económica, escribió que las metodologías que se están impulsando como parte del programa Race to the Top ponen "demasiado énfasis en medidas de crecimiento en el rendimiento estudiantil que aún no han sido estudiadas adecuadamente para los propósitos de evaluar a maestros y directores" y que las técnicas de modelado de valor agregado necesitan ser evaluadas más a fondo y solo deberían usarse "en proyectos piloto estudiados minuciosamente". [1]
El investigador de políticas educativas Gerald Bracey sostuvo además que es posible que una correlación entre los docentes y los cambios a corto plazo en las puntuaciones de las pruebas sea irrelevante para la calidad real de la enseñanza. Por lo tanto, "no permite hacer inferencias causales sobre docentes individuales. En el mejor de los casos, es un primer paso para identificar a los docentes que podrían necesitar desarrollo profesional adicional". [23]
El 8 de abril de 2014, la Asociación Estadounidense de Estadística publicó una declaración en la que criticaba el uso de modelos de valor añadido en la evaluación educativa, sin descartar la utilidad de dichos modelos. La ASA citó las limitaciones de los datos de entrada, la influencia de factores no incluidos en los modelos y los grandes errores estándar que dan lugar a clasificaciones inestables de un año a otro. [24]
John Ewing, en un artículo publicado en Notices of the American Mathematical Society, criticó el uso de modelos de valor añadido en la evaluación educativa como una forma de "intimidación matemática" y un "arma retórica". Ewing citó problemas con los datos de entrada y la influencia de factores no incluidos en el modelo. [25]
Se han implementado varias alternativas para la evaluación docente:
La mayoría de los expertos recomiendan utilizar múltiples medidas para evaluar la eficacia de los docentes. [27]
un mejor docente.