El Ejercicio de Evaluación de la Investigación ( RAE ) fue un ejercicio realizado aproximadamente cada cinco años en nombre de los cuatro consejos de financiación de la educación superior del Reino Unido ( HEFCE , SHEFC , HEFCW , DELNI ) para evaluar la calidad de la investigación realizada por las instituciones de educación superior británicas. Las presentaciones RAE de cada área temática (o unidad de evaluación ) reciben una clasificación por parte de un panel de revisión por pares especialistas en la materia. Las clasificaciones se utilizan para informar la asignación de fondos de investigación ponderados por calidad (QR) que cada institución de educación superior recibe de su consejo nacional de financiación. Las RAE anteriores tuvieron lugar en 1986, 1989, 1992, 1996 y 2001. Los resultados más recientes se publicaron en diciembre de 2008. [1] Fue reemplazado por el Marco de Excelencia en Investigación (REF) en 2014.
Diversos medios han elaborado rankings de instituciones y disciplinas a partir de los resultados de la RAE de 2008. Diferentes metodologías conducen a clasificaciones similares pero no idénticas.
El primer ejercicio de evaluación de la investigación en educación superior en el Reino Unido tuvo lugar en 1986 bajo el gobierno de Margaret Thatcher . Fue realizado por el Comité de Becas Universitarias bajo la presidencia del matemático de Cambridge Peter Swinnerton-Dyer . El objetivo del ejercicio era determinar la asignación de financiación a las universidades del Reino Unido en un momento de estrictas restricciones presupuestarias. El comité recibió presentaciones de declaraciones de investigación de 37 áreas temáticas ("centros de costos") dentro de las universidades, junto con cinco resultados de investigación seleccionados. Emitió clasificaciones de calidad denominadas "sobresaliente", "por encima del promedio", "promedio" o "por debajo del promedio". La financiación de la investigación asignada a las universidades (llamada financiación "relacionada con la calidad") dependía de las calificaciones de calidad de las áreas temáticas. Según Swinnerton-Dyer, el objetivo era establecer un cierto grado de transparencia en la asignación de fondos en un momento de presupuestos en descenso. [2]
En 1989, el Consejo de Financiación de Universidades llevó a cabo una evaluación de investigación posterior bajo el nombre de "ejercicio de selectividad de investigación" . En respuesta a la queja de las universidades de que no se les permitió presentar "toda su fuerza", Swinnerton-Dyer permitió la presentación de dos resultados de investigación por cada miembro del personal. La evaluación también se amplió a 152 áreas temáticas ("unidades de evaluación"). Según Roger Brown y Helen Carasso, sólo alrededor del 40 por ciento de la financiación relacionada con la investigación se asignó basándose en la evaluación de las propuestas. El resto se asignó en función del número de personal y estudiantes y de los ingresos por becas de investigación. [2]
En 1992 se abolió la distinción entre universidades y politécnicos . El Consejo de Financiamiento de Universidades fue reemplazado por consejos de financiamiento regionales como el HEFCE . Behram Bekhradnia, director de políticas de HEFCE, llegó a la conclusión de que la evaluación de la investigación debía ser "mucho más sólida y rigurosa". Esto llevó a la institución del Ejercicio de Evaluación de la Investigación en 1992. Sin embargo, los resultados del ejercicio de 1992 fueron impugnados ante los tribunales por el Instituto de Cirugía Dental y el juez advirtió que el sistema tenía que volverse más transparente. Los paneles de evaluación en los ejercicios posteriores tuvieron que ser mucho más explícitos sobre los criterios de evaluación y los métodos de trabajo. En 1996, se eliminó toda evaluación basada en el volumen para dar cuenta de la crítica de que se premiaba el volumen en lugar de la calidad. [2]
El ejercicio de 1992 también estipuló que el personal presentado para evaluación tenía que estar en su puesto en una fecha específica (la "fecha del censo") para contrarrestar las críticas de que el personal que se había mudado todavía se contaba en la evaluación. Esto provocó el fenómeno de la "caza furtiva" de personal altamente cualificado por parte de otras universidades antes de la fecha del censo. En el ejercicio de 2001, el crédito por el personal que se trasladó a las instituciones a mitad del ciclo pudo ser compartido entre las dos instituciones. En el ejercicio de 2008, esto fue abolido. [2]
La evaluación de 2008 también supuso un cambio importante. En lugar de una sola calificación para un área temática completa ("unidad de evaluación"), se asignó una calificación a cada resultado de la investigación. Esto se hizo para contrarrestar las críticas de que los departamentos grandes podían ocultar una "cola muy larga" de trabajo menor y aun así obtener calificaciones altas y, a la inversa, el personal excelente en departamentos con calificaciones bajas no podía recibir la financiación adecuada. Así, las calificaciones únicas para las unidades de evaluación fueron reemplazadas por "perfiles de calidad", que indicaban la proporción de la investigación de cada departamento frente a cada categoría de calidad. [2]
La RAE de 2008 utilizó una escala de calidad de cuatro puntos y arrojó un perfil, en lugar de una puntuación de calidad agregada única, para cada unidad. Los niveles de calidad, basados en la evaluación de los resultados de la investigación, el entorno de investigación y los indicadores de estima, se definen como:
A cada unidad de evaluación se le asignó un perfil de calidad (un histograma de cinco columnas) que indica la proporción de la investigación que cumple con cada uno de los cuatro niveles de calidad o no está clasificada.
En 1992, 1996 y 2001, se utilizaron las siguientes descripciones para cada una de las calificaciones.
Estas calificaciones se han aplicado a "unidades de evaluación", como francés o química, que a menudo equivalen en términos generales a departamentos universitarios. Se han creado varias clasificaciones no oficiales de la capacidad de investigación de las universidades agregando los resultados de las unidades de evaluación. [ cita necesaria ] Compilar tablas de clasificación de universidades basadas en la RAE es problemático, ya que el volumen y la calidad son factores importantes.
El proceso de evaluación de la RAE se centra en la calidad de los resultados de la investigación (que generalmente significa artículos publicados en revistas académicas y actas de congresos), el entorno de investigación y los indicadores de estima. Cada panel temático determina reglas precisas dentro de la orientación general. Para la RAE 2008, se invita a las instituciones a presentar cuatro resultados de investigación, publicados entre enero de 2001 y diciembre de 2007, para cada miembro del personal de tiempo completo seleccionado para su inclusión. [3]
En respuesta a las críticas a evaluaciones anteriores y a la evolución de la legislación laboral, la RAE de 2008 hace más para tener en cuenta a los trabajadores a tiempo parcial o a aquellos nuevos con un nivel de antigüedad suficiente para ser incluidos en el proceso.
La RAE no ha estado exenta de críticas. En sus diferentes versiones, ha dividido la opinión entre investigadores, administradores y formuladores de políticas. [4] Entre las críticas está el hecho de que ignora explícitamente las publicaciones de la mayoría de los investigadores a tiempo completo en el Reino Unido, con el argumento de que están empleados con contratos de duración determinada. Según las directrices de la RAE de 2008, la mayoría de los ayudantes de investigación "no son elegibles para figurar como personal activo de investigación". [5] Las publicaciones de investigadores con contratos de duración determinada están excluidas del Ejercicio de Evaluación a menos que dichas publicaciones puedan acreditarse a un miembro del personal que sea elegible para la RAE. Esto se aplica incluso si el miembro del personal evaluado solo hizo una contribución menor al artículo. [6] El fenómeno opuesto también es cierto, donde el personal activo no investigador con contratos permanentes, como los profesores que han sido responsables principalmente de actividades docentes, también se han visto sometidos a una presión contractual más profunda por parte de las universidades que los emplean para producir resultados de investigación. Otro problema es que es dudoso que los paneles de expertos tengan la experiencia necesaria para evaluar la calidad de los resultados de la investigación, ya que los expertos obtienen resultados mucho peores tan pronto como están fuera de su área particular de especialización. [7]
Desde 1996 la AUT , hoy incorporada dentro de la UCU , mantiene una política de oposición al Ejercicio de Evaluación de la Investigación. [8] En su opinión,
La RAE ha tenido un impacto desastroso en el sistema de educación superior del Reino Unido, provocando el cierre de departamentos con sólidos perfiles de investigación y un saludable reclutamiento de estudiantes. Ha sido responsable de la pérdida de empleos, prácticas discriminatorias, la desmoralización generalizada del personal, la reducción de las oportunidades de investigación a través de la concentración excesiva de la financiación y el debilitamiento de la relación entre enseñanza e investigación.
La Revisión oficial de la Evaluación de la Investigación, el "Informe Roberts" de 2003 encargado por los organismos de financiación del Reino Unido, [9] recomendó cambios en la evaluación de la investigación, en parte como respuesta a tales críticas.
El Comité Selecto de Ciencia y Tecnología de la Cámara de los Comunes examinó el informe Roberts y adoptó una visión más optimista, [10] afirmando que "la RAE había tenido efectos positivos: había estimulado a las universidades a gestionar sus investigaciones y había asegurado que los fondos estuvieran destinados a en ámbitos de excelencia en investigación", concluyó que "se ha producido una marcada mejora en el rendimiento de la investigación de las universidades". Sin embargo, argumentó que "la RAE en su forma actual había pasado su época" y propuso una RAE reformada, basada en gran medida en las recomendaciones de Roberts.
Se anunció [11] en el Presupuesto de 2006 que después del ejercicio de 2008 se desarrollaría un sistema de métricas para informar las asignaciones futuras de financiación QR. Tras una consulta inicial con el sector de la educación superior, se cree que los Consejos de Financiación de la Educación Superior introducirán un sistema de evaluación basado en métricas para materias de ciencia, tecnología, ingeniería y medicina. Es probable que se mantenga un proceso de revisión por pares para las materias de matemáticas, estadística, artes, humanidades y estudios sociales.
HEFCE ha desarrollado un nuevo conjunto de acuerdos, conocido como Marco de Excelencia en Investigación (REF), [12] que se introdujo como continuación del RAE de 2008.