Clasificación de revistas

Métricas de revistas académicas

La clasificación de revistas se utiliza ampliamente en los círculos académicos para evaluar el impacto y la calidad de una publicación académica . La clasificación de revistas tiene como objetivo reflejar el lugar que ocupa una revista dentro de su campo, la dificultad relativa de publicar en esa revista y el prestigio asociado a ella. Se han introducido como herramientas oficiales de evaluación de la investigación en varios países.

Medidas

Tradicionalmente, las "medidas" o evaluaciones de la clasificación de las revistas se han proporcionado simplemente a través de listas institucionales establecidas por líderes académicos o mediante una votación de comité. Estos enfoques han sido notoriamente politizados y reflejos inexactos del prestigio y la calidad reales, ya que a menudo reflejaban los sesgos y los objetivos profesionales personales de quienes participaban en la clasificación de las revistas; también causaban el problema de evaluaciones altamente dispares entre instituciones. ^[1] En consecuencia, muchas instituciones han requerido fuentes externas de evaluación de la calidad de las revistas. El enfoque tradicional en este caso ha sido a través de encuestas a académicos líderes en un campo determinado, pero este enfoque también tiene potencial de sesgo, aunque no tan profundo como el que se ve en las listas generadas por la institución. ^[2] En consecuencia, los gobiernos, las instituciones y los líderes en investigación cienciométrica han recurrido a una letanía de medidas bibliométricas observadas a nivel de revista que pueden usarse como sustitutos de la calidad y, por lo tanto, eliminar la necesidad de una evaluación subjetiva. ^[1]

En consecuencia, se han propuesto varias métricas a nivel de revista, la mayoría basadas en citas :

• Factor de impacto y CiteScore : reflejan el número promedio de citas de artículos publicados en revistas científicas y de ciencias sociales.
• SCImago Journal Rank : una medida de la influencia científica de las revistas académicas que tiene en cuenta tanto la cantidad de citas que recibe una revista como la importancia o el prestigio de las revistas de donde provienen dichas citas.
• Índice h : se utiliza generalmente como medida de la productividad científica y del impacto científico de un científico individual, pero también se puede utilizar para clasificar revistas.
  • Índice h5: esta métrica, calculada y publicada por Google Scholar , se basa en el índice h de todos los artículos publicados en una revista determinada en los últimos cinco años. ^[3]
• Encuesta de expertos: una puntuación que refleja la calidad general o la contribución de una revista se basa en los resultados de la encuesta a investigadores de campo, profesionales y estudiantes activos (es decir, contribuyentes o lectores reales de la revista), quienes clasifican cada revista según criterios específicos. ^[4]
• Recuento de citas del cuartil superior (TQCC): refleja la cantidad de citas acumuladas por el artículo que se encuentra en el cuartil superior (el percentil 75) de los artículos de una revista cuando se ordenan por recuento de citas; por ejemplo, cuando una revista publicó 100 artículos, el recuento de citas del 25.° artículo más citado es el TQCC. ^[5]
• Enfoque de poder de publicación (PPA): la posición en el ranking de cada revista se basa en el comportamiento de publicación real de académicos titulares destacados durante un período de tiempo prolongado. Como tal, la posición en el ranking de la revista refleja la frecuencia con la que estos académicos publicaron sus artículos en esta revista. ^{[6] [7]}
• Altmetrics : califica las revistas en función de las referencias académicas agregadas a los sitios de redes sociales académicas. ^[8]
• diamScore: una medida de la influencia científica de las revistas académicas basada en la ponderación recursiva de citas y las comparaciones por pares entre revistas. ^[9]
• Impacto normalizado por artículo (SNIP): un factor publicado en 2012 por Elsevier basado en Scopus para estimar el impacto. ^[10] La medida se calcula como SNIP=RIP/(R/M), donde RIP=impacto bruto por artículo, R = potencial de citación y M = potencial de citación de la base de datos mediana. ^[11]
• Nivel de revista: uno de los pocos indicadores que no se basa en citas, sino en valoraciones y reseñas objetivas de los usuarios. ^[12]
• PageRank – en 1976 se propuso un factor de impacto recursivo que otorga a las citas de revistas con alto impacto un mayor peso que a las citas de revistas de bajo impacto. ^[13] Este factor de impacto recursivo se asemeja al algoritmo PageRank de Google , aunque el artículo original utiliza un enfoque de "balanza comercial" en el que las revistas obtienen la puntuación más alta cuando se las cita con frecuencia pero rara vez citan a otras revistas; varios académicos han propuesto enfoques relacionados. ^{[14] [15] [16] [17]}
  • Eigenfactor es otra medida de tipo PageRank de la influencia de una revista, ^[18] con clasificaciones disponibles gratuitamente en línea. ^[19]

Discusión

Las consecuencias negativas de las clasificaciones están generalmente bien documentadas y se relacionan con la performatividad del uso de las clasificaciones de revistas para fines de medición del desempeño. ^{[20] [21]} Los estudios de calidad metodológica y confiabilidad han encontrado que "la confiabilidad de los trabajos de investigación publicados en varios campos puede estar disminuyendo con el aumento de la clasificación de la revista", ^[22] contrariamente a las expectativas generalizadas. ^[23]

Por ejemplo, McKinnon (2017) ha analizado cómo el ranking ABS-AJG, que a pesar de sus deficiencias metodológicas tiene una amplia aceptación en las escuelas de negocios británicas, ha tenido consecuencias negativas para las disciplinas de gestión del transporte y la logística. ^[24] Un estudio publicado en 2021 comparó el Factor de Impacto, el Eigenfactor Score, el SCImago Journal & Country Rank y el Source Normalized Impact per Paper, en revistas relacionadas con Farmacia, Toxicología y Bioquímica. Descubrió que había "una correlación moderada a alta y significativa" entre ellos. ^[25]

Miles de universidades y organismos de investigación emitieron declaraciones oficiales denunciando la idea de que la calidad de la investigación se puede medir en base a la escala unidimensional de un ranking de revistas, más notablemente firmando la Declaración de San Francisco sobre Evaluación de la Investigación (DORA), que pedía "no [utilizar] métricas basadas en revistas ... como una medida sustituta de la calidad de los artículos de investigación individuales, para evaluar las contribuciones de un científico individual, o en decisiones de contratación, promoción o financiación". ^[26] La Comunidad para la Investigación Responsable en la Gestión Empresarial (cRRBM) pregunta si "incluso la academia está siendo atendida cuando los miembros del profesorado son valorados por la cantidad y ubicación de sus artículos, no por el beneficio que su investigación puede tener para el mundo". ^[27] Algunas disciplinas académicas como la administración exhiben una paradoja de listas de clasificación de revistas: por un lado, los investigadores son conscientes de las numerosas limitaciones de las listas de clasificación y su impacto perjudicial en el progreso científico; por otro lado, generalmente encuentran que las listas de clasificación de revistas son útiles y las emplean, en particular, cuando el uso de listas de clasificación no es obligatorio por sus instituciones. ^[28]

Clasificaciones nacionales

Existen varios rankings nacionales e internacionales de revistas, por ejemplo:

• La revista ERA Australia incluye la clasificación de revistas del Consejo de Investigación Australiano de todo el mundo ^[29]
• Clasificación CORE, emitida por la Asociación de Investigación y Educación en Computación de Australasia (CORE, Inc.). ^{[30] [31]}
• La clasificación de Brasil
• Índice público de Colombia
• Dinamarca Ministerio de Educación Superior y Ciencia de Dinamarca (2014) ^[32]
• Foro de publicaciones Julkaisufoorumi ( JUFO ) de Finlandia ^[33]
• Índice científico noruego Registro noruego de revistas científicas, series y editoriales: búsqueda avanzada ^[34]
• Índice VHB de Alemania (empresas)
• Clasificación CNRS de Francia (economía)
• Clasificación ANVUR italiana Revistas ANVUR Clase A ^[35]
• Guía de revistas académicas de la Asociación Colegiada de Escuelas de Negocios ^[36]
• Lista de revistas reconocidas por la HEC en Pakistán ^[37]
• Puntuación NAAS de revistas científicas de la Academia Nacional de Ciencias Agrícolas de la India (vigente a partir del 1 de enero de 2022) ^[38]
• Ranking polaco de revistas ^{[39] [40]}
• Lista de revistas sudafricanas aprobadas por el DHET

Se han introducido como herramientas oficiales de evaluación de la investigación en varios países. ^[41]

Véase también

• Revista académica § Prestigio y ranking
• Periodología

Referencias

1. Lowry, Paul Benjamin; Gaskin, James; Humpherys, Sean L.; Moody, Gregory D.; Galletta, Dennis F.; Barlow, Jordan B.; Wilson, David W. (2013). "Evaluación de la calidad de las revistas y la canasta de revistas de académicos sénior de la Association for Information Systems mediante medidas bibliométricas: ¿las evaluaciones de revistas realizadas por expertos añaden valor?". Management Information Systems Quarterly . 37 (4): 993–1012. doi :10.25300/MISQ/2013/37.4.01. JSTOR  43825779. SSRN  2186798.Además, vea el video narrativo de YouTube de este artículo en: Yukon 
2. Lowry, Paul Benjamin; Romans, Denton; Curtis, Aaron (2004). "Prestigio mundial de las revistas y disciplinas de apoyo: un estudio cienciométrico de las revistas de sistemas de información". Revista de la Asociación de Sistemas de Información . 5 (2): 29–77. doi : 10.17705/1jais.00045 . SSRN  666145.
3. Minasny, Budiman; Hartemink, Alfred E.; McBratney, Alex; Jang, Ho-Jun (22 de octubre de 2013). "Citas e índice h de investigadores y revistas del suelo en Web of Science, Scopus y Google Scholar". PeerJ . 1 : e183. doi : 10.7717/peerj.183 . ISSN  2167-8359. PMC 3807595 . PMID  24167778. 
4. Serenko, Alexander; Dohan, Michael (2011). "Comparación de los métodos de encuesta a expertos y de clasificación de revistas por impacto de citas: ejemplo del campo de la inteligencia artificial" (PDF) . Journal of Informetrics . 5 (4). Elsevier : 629–648. doi :10.1016/j.joi.2011.06.002.
5. "Acerca de OOIR: datos a nivel de revista" . Consultado el 14 de marzo de 2023 .
6. Holsapple, Clyde W. (2008). "Un enfoque de poder de publicación para identificar revistas de sistemas de información de primer nivel". Revista de la Asociación de Ciencia y Tecnología de la Información . 59 (2). Wiley Online Library : 166–185. doi :10.1002/asi.20679.
7. Serenko, Alexander; Jiao, Changquan (2012). "Investigación sobre sistemas de información en Canadá" (PDF) . Revista Canadiense de Ciencias Administrativas . 29 . Biblioteca en línea Wiley: 3–24. doi :10.1002/CJAS.214.
8. Alhoori, Hamed; Furuta, Richard (2013). ¿Pueden los sistemas de gestión de referencias sociales predecir una clasificación de lugares académicos?. Lecture Notes in Computer Science. Vol. 8092. Springer . págs. 138–143. CiteSeerX 10.1.1.648.3770 . doi :10.1007/978-3-642-40501-3_14. ISBN .  978-3-64240-500-6. {{cite book}}: |work=ignorado ( ayuda )
9. Cornillier, Fabien; Charles, Vincent (2015). "Medición del atractivo de las revistas académicas: un modelo de agregación de influencia directa" (PDF) . Operations Research Letters . 43 (2): 172–176. doi :10.1016/j.orl.2015.01.007. S2CID  13310055.
10. "Elsevier anuncia que las métricas de revistas mejoradas SNIP y SJR ya están disponibles en Scopus" (nota de prensa). Elsevier . Consultado el 27 de julio de 2014 .
11. Moed, Henk (2010). "Medición del impacto de las citas contextuales en las revistas científicas". Journal of Informetrics . 4 (3). Elsevier: 256–277. arXiv : 0911.2632 . doi :10.1016/j.joi.2010.01.002. S2CID  10644946.
12. "Lista de niveles de revistas". www.journaltierlist.com . Consultado el 31 de julio de 2024 .
13. Pinski, Gabriel; Narin, Francis (1976). "Influencia de las citas en los agregados de revistas científicas: teoría con aplicación a la literatura de física". Procesamiento y gestión de la información . 12 (5): 297–312. doi :10.1016/0306-4573(76)90048-0.
14. Liebowitz, SJ; Palmer, JP (1984). "Evaluación de los impactos relativos de las revistas económicas" (PDF) . Revista de literatura económica . 22 (1): 77–88. JSTOR  2725228.
15. Palacios-Huerta, Ignacio; Volij, Óscar (2004). "La medición de la influencia intelectual". Econométrica . 72 (3): 963–977. CiteSeerX 10.1.1.165.6602 . doi :10.1111/j.1468-0262.2004.00519.x. 
16. Kodrzycki, Yolanda K.; Yu, Pingkang (2006). "Nuevos enfoques para la clasificación de revistas económicas". Contribuciones al análisis económico y a la política . 5 (1). CiteSeerX 10.1.1.178.7834 . doi :10.2202/1538-0645.1520. 
17. Bollen, Johan; Rodriguez, Marko A.; Van De Sompel, Herbert (diciembre de 2006). "MESUR: Métricas basadas en el uso del impacto académico". Actas de la 7.ª conferencia conjunta ACM/IEEE-CS sobre bibliotecas digitales . Vol. 69. págs. 669–687. arXiv : cs.GL/0601030 . Código Bibliográfico :2006cs........1030B. doi :10.1145/1255175.1255273. ISBN . 978-1-59593-644-8.S2CID3115544  .​ {{cite book}}: |journal=ignorado ( ayuda )
18. Bergstrom, CT (mayo de 2007). "Eigenfactor: medición del valor y el prestigio de las revistas académicas". College & Research Libraries News . 68 (5): 314–316. doi : 10.5860/crln.68.5.7804 .
19. West, Jevin Darwin. "Eigenfactor.org". Eigenfactor . Consultado el 18 de mayo de 2014 .
20. Espeland, Wendy Nelson; Sauder, Michael (2007). "Rankings y reactividad: cómo las medidas públicas recrean mundos sociales". Revista Estadounidense de Sociología . 113 : 1–40. doi :10.1086/517897. hdl : 1885/30995 . S2CID  113406795.
21. Grant, David B.; Kovács, Gyöngyi; Spens, Karen (2018). "Prácticas de investigación cuestionables en el ámbito académico: antecedentes y consecuencias". European Business Review . 30 (2): 101–127. doi :10.1108/EBR-12-2016-0155.
22. Brembs, Björn (2018). "Las revistas científicas prestigiosas luchan por alcanzar incluso una fiabilidad media". Frontiers in Human Neuroscience . 12 : 37. doi : 10.3389/fnhum.2018.00037 . PMC 5826185 . PMID  29515380. 
23. Triggle, Chris R; MacDonald, Ross; Triggle, David J.; Grierson, Donald (3 de abril de 2022). "Réquiem por los factores de impacto y los altos costos de publicación". Accountability in Research . 29 (3): 133–164. doi : 10.1080/08989621.2021.1909481 . PMID  33787413. S2CID  232430287. Por lo tanto, se podría esperar que un factor JIF alto indique un mayor nivel de interés, precisión y confiabilidad de los artículos publicados en él. Esto a veces es cierto, pero lamentablemente no siempre es así (Brembs 2018, 2019). Así, Björn Brembs (2019) concluyó: “Hay cada vez más evidencias en contra de nuestra noción subjetiva de que las revistas más prestigiosas publican ciencia ‘mejor’. De hecho, las revistas más prestigiosas pueden estar publicando la ciencia menos confiable”.
24. McKinnon, Alan C. (2017). "Starry-eyed II: El debate sobre el ranking de revistas de logística revisitado". Revista internacional de distribución física y gestión logística . 47 (6): 431–446. doi :10.1108/IJPDLM-02-2017-0097.
25. Aquino-Canchari, Christian Renzo; Ospina-Meza, Richard Fredi; Guillén-Macedo, Karla (30-07-2020). "Las 100 revistas de mayor impacto sobre farmacología, toxicología y farmacia". Revista Cubana de Investigaciones Biomédicas . 39 (3). ISSN  1561-3011.
26. "Hogar". DORA .
27. Glick, William; Tsui, Anne; Davis, Gerald (2 de mayo de 2018). Cutler, Dave (ed.). "El dilema moral de la investigación empresarial". Revista BizEd . Archivado desde el original el 7 de mayo de 2018.
28. Serenko, Alexander; Bontis, Nick (2024). "Bailando con el diablo: el uso y las percepciones de las listas de clasificación de revistas académicas en el campo de la gestión" (PDF) . Revista de documentación . 80 (4): 773–792. doi :10.1108/JD-10-2023-0217. S2CID  266921800.
29. "Ranking de revistas del Consejo Australiano de Investigación en todo el mundo". 12 de junio de 2011. Archivado desde el original el 12 de junio de 2011.
30. Li, Xiancheng; Rong, Wenge; Shi, Haoran; Tang, Jie; Xiong, Zhang (11 de mayo de 2018). "El impacto de los sistemas de clasificación de conferencias en informática: un análisis de regresión comparativa". Cienciometría . 116 (2). Springer Science and Business Media LLC: 879–907. doi :10.1007/s11192-018-2763-1. ISSN  0138-9130. S2CID  255013801.
31. "Portal de clasificaciones CORE". core.edu.au . Consultado el 27 de diciembre de 2022 .
32. "Uddannelses- og Forskningsministeriet".
33. "Julkaisufoorumi". Diciembre de 2023.
34. "Buscar en la lista noruega | Registro noruego".
35. "Calificación de Revistas Científicas - ANVUR - Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca".
36. "Asociación Colegiada de Escuelas de Negocios – Guía de revistas académicas".
37. "Lista de revistas reconocidas por HEC".
38. "Puntuación de la NAAS de revistas científicas" (PDF) . Academia Nacional de Ciencias Agrícolas . 2022-01-01. Archivado (PDF) desde el original el 2023-03-15.
39. "Ministerio de Educación Superior y Ciencia de Polonia (2019)". www.bip.nauka.gov.pl . Consultado el 12 de octubre de 2019 .
40. "Ministerio de Educación Superior y Ciencia de Polonia (2021)". www.bip.nauka.gov.pl . Consultado el 9 de febrero de 2021 .
41. Pontille, David; Torny, Didier (2010). "Las controvertidas políticas de calificación de revistas: evaluación de las ciencias sociales y las humanidades". Evaluación de la investigación . 19 (5): 347–360. doi :10.3152/095820210X12809191250889. S2CID  53387400.