El Marco de Excelencia en Investigación ( REF ) es una evaluación del impacto de la investigación de las instituciones de educación superior británicas (IES). Es el sucesor del Ejercicio de Evaluación de Investigación y se utilizó por primera vez en 2014 para evaluar el período 2008-2013. [1] [2] El REF lo llevan a cabo los cuatro organismos de financiación de la educación superior del Reino Unido: Research England , el Consejo de Financiación Escocés (SFC), el Consejo de Financiación de la Educación Superior de Gales (HEFCW) y el Departamento de Economía de Irlanda del Norte (DfE).
Sus objetivos declarados son:
Los críticos argumentan, entre otras cosas, que se presta demasiada atención al impacto de la investigación fuera del sistema universitario y que ese impacto no tiene relevancia real para la calidad de la investigación. [ cita requerida ] Se sugiere que el REF en realidad fomenta la mediocridad en la investigación publicada y desalienta la investigación que podría tener valor a largo plazo. [ cita requerida ] Se ha argumentado repetidamente que el REF hace más daño que bien a la educación superior. [ 4 ]
El último REF se realizó en 2021, y sus resultados se publicaron en mayo de 2022, siguiendo el modelo de evaluación anterior que se centraba en los resultados de la investigación, el impacto de la investigación y el entorno de investigación. [5] Este proceso se retrasó ligeramente debido a la pandemia de COVID-19 . [6]
En junio de 2023, se anunció que el próximo ejercicio concluiría en 2028 y que las presentaciones se realizarían en 2027. [7]
En junio de 2007, el Consejo de Financiamiento de la Educación Superior de Inglaterra (HEFCE) emitió una carta circular en la que anunciaba que un nuevo marco para evaluar la calidad de la investigación en las universidades del Reino Unido reemplazaría al Ejercicio de Evaluación de la Investigación (RAE), después del RAE de 2008. [8] La siguiente cita de la carta indica parte de la motivación original:
Nuestros objetivos clave para el nuevo marco serán:
- producir indicadores sólidos de excelencia en la investigación para todo el Reino Unido en todas las disciplinas, que puedan utilizarse para comparar la calidad con los estándares internacionales y para impulsar la financiación del Consejo para la investigación
- Proporcionar una base para distribuir fondos principalmente en función de la excelencia en la investigación y financiar la investigación excelente en todas sus formas dondequiera que se encuentre.
- Reducir significativamente la carga administrativa de las instituciones en comparación con la RAE.
- para evitar crear incentivos conductuales indeseables
- Promover la igualdad y la diversidad
- Proporcionar un marco estable para nuestro continuo apoyo a una base de investigación líder a nivel mundial en la educación superior.
La carta también establece un calendario para el desarrollo de la REF. HEFCE llevó a cabo un ejercicio de consulta durante septiembre-diciembre de 2009, solicitando respuestas de las partes interesadas sobre las propuestas. [9] Estas incluyen, por ejemplo, la respuesta de Universities UK [ 10] y la respuesta de University and College Union [11] .
En julio de 2010 (después de las elecciones generales de mayo de 2010 ), el Ministro de Universidades y Ciencia, David Willetts, anunció que el REF se retrasaría un año para evaluar la eficacia de la medida de impacto. [12]
En julio de 2016, se publicó la revisión de Lord Nicholas Stern , en la que se redactaban las directrices generales para el próximo REF en 2021. [13] En general, la revisión apoyó la metodología utilizada en 2014 para evaluar la investigación de las universidades, sin embargo, enfatizó la necesidad de una mayor participación del público en general y el aumento del número de estudios de caso que emprendieron un enfoque interdisciplinario . [13] El equipo Research-impact.org de la Escuela de Negocios y Economía de la Universidad de Loughborough ha estado experimentando con la financiación colectiva para la investigación con el fin de aumentar la participación pública de los investigadores de la universidad. [14]
El impacto del REF se define como “un efecto, cambio o beneficio para la economía, la sociedad, la cultura, las políticas o servicios públicos, la salud, el medio ambiente o la calidad de vida, más allá del ámbito académico”. [15]
Las presentaciones se evaluarán de acuerdo con los siguientes criterios: [16]
Dos editoriales, Times Higher Education [17] (THE) y Research Professional News [18] (RPN; utilizada por The Guardian y otros periódicos) [19] [20] elaboraron clasificaciones generales de los resultados institucionales en el REF 2021 en función del poder de investigación, la cuota de mercado y la calidad (GPA). El GPA institucional de THE es un promedio del GPA de cada institución en las unidades de evaluación ponderado por la cantidad de personal equivalente a tiempo completo presentado a cada unidad de evaluación, la medida de "poder de investigación" es este GPA institucional multiplicado por la cantidad de personal equivalente a tiempo completo presentado por la institución, y la medida de "cuota de mercado" utiliza la ponderación utilizada para calcular las subvenciones en bloque a partir de los perfiles institucionales, con calificaciones de 4* que reciben una ponderación de cuatro, calificaciones de 3* que reciben una ponderación de uno y calificaciones de 2* y menores que reciben una ponderación de cero. [21]
Una fuente particular de críticas ha sido el elemento del REF que aborda el "impacto" de la investigación. Los artículos que se presentan a continuación plantean dos objeciones. La principal es que se ha definido el "impacto" como el impacto fuera del ámbito académico. Si se exigiera a los investigadores que persiguieran esta forma de impacto, se socavaría la libertad académica . La otra es que el impacto, tal como se interpreta actualmente, es difícil de medir de una manera que se considere justa e imparcial. [22] [23] [24]
El Consejo de Financiación de la Educación Superior de Inglaterra sostiene que su medida de "impacto" es amplia y abarcará el impacto sobre la "economía, la sociedad, las políticas públicas, la cultura y la calidad de vida". [22] Sin embargo, la estructura de evaluación hace que el impacto que se puede reivindicar en la práctica sea bastante limitado (límite de 4 páginas, sin sección de métodos, 10 referencias de impacto, 10 referencias de investigación y solo 1 página para resumir la investigación y el impacto respectivamente). Estas estrictas directrices discursivas junto con la noción anticuada del REF de cómo funciona el impacto de la investigación (excluyendo el impacto de la investigación docente, modelo lineal, etc.) restringen el impacto que es más adecuado en la práctica para la evaluación. [ cita requerida ]
Otro aspecto de crítica, que el REF heredó de la estructura de la RAE, es que, para la mayoría de los miembros del personal a tiempo completo, la presentación normalmente consiste en cuatro "artículos de resultados de investigación" publicados. No se reconoce la diferencia entre un libro y un artículo en términos de valor de investigación. Por lo tanto, el sistema del REF desalienta los proyectos a largo plazo que buscan la excelencia. Este problema es particularmente evidente en las humanidades, donde la mayor parte de la investigación innovadora tradicionalmente no se publica en artículos. Por lo tanto, muchos investigadores se ven obligados a realizar una actividad relativamente mediocre, que les permitirá producir uno o dos libros durante el período de evaluación, pero no el tipo de monografía que normalmente requeriría cuatro o cinco años de investigación y redacción. [ cita requerida ]
Además, el sistema de los cuatro artículos publicados desalienta los proyectos a largo plazo con un riesgo de investigación relativamente alto en las ciencias, ya que los investigadores son reacios a participar en proyectos o experimentos que pueden no tener éxito y no conducir a una publicación. Dado que la mayor parte de la investigación pionera en las ciencias se lleva a cabo precisamente con proyectos tan arriesgados e imaginativos, el tipo de actividad de investigación que se fomenta mediante la estructura del REF es bastante conservadora. Además, en términos del impacto de la investigación examinada, en la historia de las ciencias y las humanidades no es inusual que transcurra algún tiempo hasta que se produzca el impacto completo de un descubrimiento. El sistema actual tiene una perspectiva de sólo cuatro o cinco años. [ cita requerida ]
El Times Higher Education también reveló que algunas universidades parecían estar "jugando" con el sistema REF. Esto incluía la "captura furtiva del REF", en la que se buscaba personal con antecedentes de investigación establecidos en sus universidades inmediatamente antes del REF, dándole a la institución que la cazaba todo el crédito por sus publicaciones sin haber asumido el riesgo de apoyar al investigador. También incluía emplear a un gran número de personal con contratos de 0,2 FTE, el nivel de empleo más bajo que los califica para la presentación de trabajos al REF. [25]
Además de estas preocupaciones sobre lo que realmente se puede medir con cuatro elementos de resultados de investigación y cómo se puede medir el impacto, a menudo se critica todo el sistema por ser innecesariamente complejo y costoso, mientras que la evaluación de la calidad en la era digital podría ser mucho más simple y efectiva. [26]
El sistema, con sus implicancias financieras asociadas, también ha sido criticado por desviar recursos de la enseñanza. Por ello, los aumentos en las tasas estudiantiles a menudo no han tenido como resultado que el personal dedique más tiempo a la enseñanza. [ cita requerida ]
En julio de 2016 se publicó el informe de Lord Nicholas Stern , en el que se redactaban las directrices generales para el próximo REF de 2021. [27] Una de las recomendaciones era aumentar la participación del público en la investigación. La participación en la investigación significa mejorar la distribución de los beneficios de la investigación. También significa hacer que el público sea más consciente de los resultados de la investigación y sus implicaciones. Un mecanismo para la participación pública es el crowdfunding para la investigación, en el que plataformas dedicadas organizan campañas de crowdfunding para la investigación universitaria, en una variedad de temas. El crowdfunding para la investigación tiene dos ventajas: una, es una fuente de financiación garantizada relativamente alta, con una tasa de alrededor del 50%, y la segunda, es una herramienta muy eficaz para interactuar con el público en general. [14]
Un problema que la revisión de Stern no abordó en relación con la evaluación del impacto de la investigación es que la estructura de la plantilla de diseño de estudios de caso en la que se evalúa el impacto no contiene una sección de método, por lo que la evaluación del tipo de impacto reclamado se convierte en un juego retórico de quién puede reclamar más (cf. Brauer, 2018). [28] De este modo, las grandes afirmaciones se ven incentivadas por la estructura de la evaluación. El problema ocurre porque los juicios cualitativos sobre la importancia y el alcance del impacto (sin tener en cuenta el método subyacente) consolidan los valores contemporáneos en la evaluación, como tal; “[…] llámelo construcción social, aprendizaje mutuo, práctica social como sea, la clave es que no podemos separar las características del Impacto del proceso impuesto sobre el valor y reconocerlo como tal ”. (Derrick, 2018:160) [29] Al verificar la referencia de las afirmaciones actuales, estas no eran accesibles (por ejemplo, se eliminaron los sitios web relevantes), se referenciaban de tal manera que no reflejaban la autoría propia o los testimonios de personas relacionadas con el investigador (Brauer, 2018:142-147). De manera similar, Sayer (2014) [30] critica la revisión por pares general del proceso REF, describiéndolo como un simulacro deficiente de calidad académica estándar y que el proceso de evaluación se complica aún más por la gran carga de trabajo de la evaluación (p. 35). En una nota similar, un estudio de RAND encontró que la mayoría de las referencias nunca se consultaron, se desaconsejó a ciertos paneles de evaluación usar Internet y la estructura de ayuda de referencia del REF tardó a veces dos semanas en producir referencias asociadas. [31] De este modo, el enfoque del impacto externo disciplina la evaluación para centrarse en los valores externos. [32]
En 2018, se dijo que el REF tiene efectos negativos en las humanidades. [33]
A pesar de sus críticas, el sistema de evaluación del impacto de la investigación del Reino Unido (que evalúa la calidad de los resultados de la investigación, el impacto de la investigación y el entorno de investigación) ha inspirado los diseños de evaluaciones de la excelencia en la investigación y/o sistemas de financiación de la investigación basados en el rendimiento en otros países europeos, entre ellos Italia, Noruega, Portugal y Eslovaquia. [34]