El Marco de Excelencia en Investigación ( REF ) es una evaluación del impacto de la investigación de las instituciones de educación superior (IES) británicas. Es el sucesor del Ejercicio de Evaluación de la Investigación y se utilizó por primera vez en 2014 para evaluar el período 2008-2013. [1] [2] El REF está a cargo de los cuatro organismos de financiación de la educación superior del Reino Unido: Research England , el Consejo Escocés de Financiación (SFC), el Consejo de Financiación de la Educación Superior de Gales (HEFCW) y el Departamento de Economía de Irlanda del Norte ( DfE).
Sus objetivos declarados son:
Los críticos argumentan, entre otras cosas, que se presta demasiada atención al impacto de la investigación fuera del sistema universitario, y que ese impacto no tiene relevancia real para la calidad de la investigación. [ cita necesaria ] Se sugiere que REF en realidad fomenta la mediocridad en las investigaciones publicadas y desalienta las investigaciones que podrían tener valor a largo plazo. [ cita necesaria ] Se ha argumentado repetidamente que REF hace más daño que bien a la educación superior. [4]
El último REF se realizó en 2021 y los resultados se publicaron en mayo de 2022, continuando con el modelo de evaluación anterior de centrarse en los resultados de la investigación, el impacto de la investigación y el entorno de la investigación. [5] Este proceso se retrasó ligeramente debido a la pandemia de COVID-19 . [6]
En junio de 2023, se anunció que el próximo ejercicio concluiría en 2028 y las presentaciones se realizarían en 2027. [7]
En junio de 2007, el Consejo de Financiamiento de la Educación Superior de Inglaterra (HEFCE) emitió una carta circular anunciando que un nuevo marco para evaluar la calidad de la investigación en las universidades del Reino Unido reemplazaría el Ejercicio de Evaluación de la Investigación (RAE), tras el RAE de 2008. [8] La siguiente cita de la carta indica parte de la motivación original:
Nuestros objetivos clave para el nuevo marco serán:
- producir indicadores sólidos de excelencia en investigación en todo el Reino Unido para todas las disciplinas que puedan usarse para comparar la calidad con los estándares internacionales e impulsar la financiación del Consejo para la investigación.
- Proporcionar una base para distribuir la financiación basándose principalmente en la excelencia de la investigación y financiar investigaciones excelentes en todas sus formas dondequiera que se encuentren.
- Reducir significativamente la carga administrativa de las entidades en comparación con la RAE.
- para evitar la creación de incentivos de comportamiento indeseables
- para promover la igualdad y la diversidad
- proporcionar un marco estable para nuestro apoyo continuo a una base de investigación líder a nivel mundial dentro de la educación superior.
La carta también establecía un calendario para el desarrollo del REF. HEFCE llevó a cabo un ejercicio de consulta entre septiembre y diciembre de 2009, solicitando respuestas de las partes interesadas sobre las propuestas. [9] Estos incluyen, por ejemplo, la respuesta de Universities UK , [10] y la respuesta de University and College Union . [11]
En julio de 2010 (tras las elecciones generales de mayo de 2010 ), el ministro de Universidades y Ciencia, David Willetts, anunció que el REF se retrasaría un año para evaluar la eficacia de la medida de impacto. [12]
En julio de 2016, se publicó la revisión de Lord Nicholas Stern , en la que se redactan directrices generales para el próximo REF en 2021. [13] En general, la revisión apoyó la metodología utilizada en 2014 para evaluar la investigación de las universidades, sin embargo, enfatizó la necesidad de más compromiso con el público en general y el aumento del número de estudios de caso que adoptaron un enfoque interdisciplinario . [13] El equipo de Research-impact.org de la Escuela de Economía y Negocios de la Universidad de Loughborough ha estado experimentando con financiación colectiva para la investigación con el fin de aumentar la participación pública de los investigadores de la universidad. [14]
El impacto de REF se define como "un efecto, cambio o beneficio para la economía, la sociedad, la cultura, las políticas o servicios públicos, la salud, el medio ambiente o la calidad de vida, más allá del ámbito académico". [15]
Las presentaciones se evalúan de acuerdo con los siguientes criterios: [16]
Dos editoriales, Times Higher Education , [17] (THE) y Research Professional News [18] (RPN; utilizado por The Guardian y otros periódicos) [19] [20] produjeron clasificaciones generales de los resultados institucionales en el REF 2021 basadas en investigaciones. potencia, cuota de mercado y calidad (GPA). El GPA institucional es un promedio del GPA de cada institución en todas las unidades de evaluación ponderado por el número de personal equivalente a tiempo completo presentado a cada unidad de evaluación; la medida del "poder de investigación" es este GPA institucional multiplicado por el número de equivalentes a tiempo completo personal presentado por la institución, y la medida de "participación de mercado" utiliza la ponderación utilizada para calcular las subvenciones globales a partir de los perfiles institucionales, con calificaciones de 4* con una ponderación de cuatro, calificaciones de 3* con una ponderación de uno, y calificaciones de 2* e inferiores dada una ponderación de cero. [21]
Una fuente particular de críticas ha sido el elemento del REF que aborda el "impacto" de la investigación. Los artículos siguientes plantean dos objeciones. La principal es que se ha definido que "impacto" significa impacto fuera de la academia. Si se exigiera a los investigadores que buscaran esta forma de impacto, se socavaría la libertad académica . La otra es que el impacto, tal como se interpreta actualmente, es difícil de medir de alguna manera que pueda considerarse justa e imparcial. [22] [23] [24]
El Consejo de Financiamiento de la Educación Superior de Inglaterra sostiene que su medida de "impacto" es amplia y abarcará el impacto sobre la "economía, la sociedad, las políticas públicas, la cultura y la calidad de vida". [22] Sin embargo, la estructura de evaluación hace que el impacto que se puede afirmar en la práctica sea bastante limitado (límite de 4 páginas, sin sección de método, 10 referencias de impacto, 10 referencias de investigación y solo 1 página para resumir la investigación y el impacto respectivamente). Estas estrictas pautas discursivas, junto con la noción anticuada del REF sobre cómo funciona el impacto de la investigación (excluido el impacto de la investigación en la enseñanza, modelo lineal, etc.), restringen qué impacto es más adecuado prácticamente para la evaluación. [ cita necesaria ]
Otra área de crítica, que el REF heredó de la estructura de la RAE, es que, para la mayoría de los miembros del personal a tiempo completo, la presentación normalmente consta de cuatro "elementos de resultados de investigación" publicados. No se reconoce la diferencia entre un libro y un artículo en términos de valor de investigación. Por lo tanto, el sistema REF desalienta los proyectos a largo plazo que buscan la excelencia. Este problema es particularmente evidente en las humanidades, donde la mayoría de las investigaciones innovadoras tradicionalmente no se publican en artículos. Por lo tanto, muchos investigadores se ven empujados a realizar una actividad relativamente mediocre, que les permitirá producir uno o dos libros durante el período de evaluación, pero no el tipo de monografía que normalmente requeriría cuatro o cinco años de investigación y redacción. [ cita necesaria ]
Además, el sistema de cuatro artículos publicados también desalienta proyectos a largo plazo con riesgos de investigación relativamente altos en las ciencias, ya que los investigadores son reacios a participar en proyectos o experimentos que pueden no tener éxito y no conducir a una publicación. Dado que la mayor parte de la investigación científica innovadora se lleva a cabo precisamente con proyectos tan arriesgados e imaginativos, el tipo de actividad de investigación que fomenta la estructura del REF es bastante conservador. Además, en términos del impacto de la investigación examinada, en la historia de las ciencias y las humanidades no es raro que pase algún tiempo hasta que se produzca el impacto total de un descubrimiento. El sistema actual tiene una perspectiva de sólo cuatro o cinco años. [ cita necesaria ]
El Times Higher Education también reveló que algunas universidades parecían estar "jugando" con el sistema REF. Esto incluyó la "caza furtiva de REF", en la que personal con antecedentes de investigación establecidos fue cazado en sus universidades inmediatamente antes que la REF, dando a la institución cazadora furtiva todo el crédito por sus publicaciones sin haber asumido el riesgo de apoyar al investigador. También incluyó el empleo de una gran cantidad de personal con contratos de 0,2 FTE, el nivel más bajo de empleo que los califica para la presentación del REF. [25]
Además de estas preocupaciones sobre lo que realmente se puede medir mediante cuatro elementos de resultados de la investigación y cómo se puede medir el impacto, a menudo se critica todo el sistema por considerarlo innecesariamente complejo y costoso, mientras que la evaluación de la calidad en la era digital podría ser mucho más simple y eficaz. [26]
El sistema, con sus implicaciones financieras asociadas, también ha sido criticado por desviar recursos de la enseñanza. Como tal, es posible que los aumentos en las cuotas de los estudiantes a menudo no hayan dado como resultado que el personal dedique más tiempo a la enseñanza. [ cita necesaria ]
En julio de 2016, se publicó la revisión de Lord Nicholas Stern , en la que se redactan directrices generales para el próximo REF en 2021. [27] Una de las recomendaciones fue aumentar la participación del público en la investigación. El compromiso con la investigación significa mejorar la entrega de los beneficios de la investigación. También significa hacer que el público sea más consciente de los resultados de la investigación y sus implicaciones. Un mecanismo para la participación pública es el crowdfunding para la investigación, donde plataformas dedicadas albergan campañas de crowdfunding para la investigación universitaria, en una variedad de temas. El crowdfunding para la investigación tiene dos ventajas: en primer lugar, es una fuente de financiación garantizada relativamente alta, con una tasa de alrededor del 50 %, en segundo lugar, es una herramienta muy eficaz para interactuar con el público en general. [14]
Un problema que la revisión Stern no abordó en relación con la evaluación del impacto de la investigación es que la estructura de la plantilla de diseño del estudio de caso en la que se evalúa el impacto no contiene una sección de método, lo que dificulta la evaluación de qué tipo de impacto se realizó. afirmó un juego retórico de quién puede reclamar más (cf. Brauer, 2018). [28] Por lo tanto, la estructura de evaluación incentiva las grandes reclamaciones. El problema surge porque los juicios cualitativos sobre la importancia y el alcance del impacto (sin una explicación del método subyacente) cimentan los valores contemporáneos en la evaluación como tal; "[…] llámelo construido socialmente, aprendizaje mutuo, práctica social como sea, la clave es que no podemos separar las características del Impacto del proceso impuesto al valor y reconocerlo como tal. " (Derrick, 2018:160) [29 ] Al verificar la referencia de las afirmaciones actuales, estas no eran accesibles (por ejemplo, los sitios web relevantes fueron eliminados), se hacían referencias de tal manera que no reflejaban la autoría propia o los testimonios de personas relacionadas con el investigador (Brauer, 2018 :142-147). De manera similar, Sayer (2014) [30] critica la revisión general por pares del proceso REF, describiéndola como un simulacro deficiente de calidad académica estándar y que el proceso de evaluación se complica aún más por la enorme carga de trabajo de la evaluación (p. 35). En una nota similar, un estudio de RAND encontró que la mayoría de las referencias nunca fueron consultadas, se disuadió a ciertos paneles de evaluación de usar Internet y la estructura de ayuda de referencia del REF tardó a veces dos semanas en producir referencias asociadas. [31] Por lo tanto, el enfoque en el impacto externo disciplina la evaluación para que se centre en los valores externos. [32]
En 2018 se dijo que REF tiene efectos negativos en las humanidades. [33]