stringtranslate.com

Métricas a nivel de autor

Las métricas a nivel de autor son métricas de citas que miden el impacto bibliométrico de autores, investigadores, académicos y especialistas individuales. Se han desarrollado muchas métricas que tienen en cuenta una cantidad variable de factores (desde considerar únicamente la cantidad total de citas hasta analizar su distribución en artículos o revistas utilizando principios estadísticos o de teoría de grafos ).

Estas comparaciones cuantitativas entre investigadores se realizan principalmente para distribuir recursos (como dinero y puestos académicos). Sin embargo, todavía existe un debate en el mundo académico sobre la eficacia con la que las métricas a nivel de autor logran este objetivo. [1] [2] [3]

Las métricas a nivel de autor difieren de las métricas a nivel de revista , que intentan medir el impacto bibliométrico de las revistas académicas en lugar de los individuos. Sin embargo, las métricas desarrolladas originalmente para revistas académicas se pueden informar a nivel de investigador, como el factor propio a nivel de autor [4] y el factor de impacto del autor. [5]

Lista de métricas

Variaciones adicionales deyo-índice

Existen varios modelos propuestos para incorporar la contribución relativa de cada autor a un artículo, por ejemplo, teniendo en cuenta el rango en la secuencia de autores. [36] Se ha propuesto una generalización del índice h y algunos otros índices que brindan información adicional sobre la forma de la función de citación del autor (de cola pesada, plana/con pico, etc.). [37] Debido a que el índice h nunca estuvo pensado para medir el éxito de publicaciones futuras, recientemente, un grupo de investigadores ha investigado las características que son más predictivas del índice h futuro . Es posible probar las predicciones utilizando una herramienta en línea. [ 38] Sin embargo, trabajos posteriores han demostrado que, dado que el índice h es una medida acumulativa, contiene una autocorrelación intrínseca que llevó a una sobrestimación significativa de su predictibilidad. Por lo tanto, la verdadera predictibilidad del índice h futuro es mucho menor en comparación con lo que se ha afirmado antes. [39] El índice h se puede cronometrar para analizar su evolución durante la carrera de uno, empleando diferentes ventanas de tiempo. [40]

Crítica

Algunos académicos, como el físico Jorge E. Hirsch , han elogiado las métricas a nivel de autor como un "criterio útil con el que comparar, de manera imparcial, a diferentes individuos que compiten por el mismo recurso cuando un criterio de evaluación importante es el logro científico". [1] Sin embargo, otros miembros de la comunidad científica, e incluso el propio Hirsch, [41] las han criticado por ser particularmente susceptibles a manipular el sistema . [2] [3] [42]

Los trabajos en bibliometría han demostrado múltiples técnicas para la manipulación de métricas populares a nivel de autor. La métrica más utilizada, el índice h, se puede manipular mediante autocitas, [43] [44] [45] e incluso se pueden utilizar documentos sin sentido generados por computadora para ese propósito, por ejemplo utilizando SCIgen . [46] Las métricas también se pueden manipular mediante citas coercitivas , una práctica en la que un editor de una revista obliga a los autores a agregar citas falsas a sus propios artículos antes de que la revista acepte publicarlos. [47] [48]

Además, si el índice h se considera como un criterio de decisión para las agencias de financiación de la investigación, la solución de teoría de juegos para esta competencia implica aumentar la longitud media de las listas de coautores . [49] Un estudio que analizó >120 millones de artículos en el campo específico de la biología mostró que la validez de las medidas basadas en citas se está viendo comprometida y su utilidad está disminuyendo. [50] Como predice la ley de Goodhart , la cantidad de publicaciones ya no es una buena métrica como resultado de artículos más cortos y listas de autores más largas.

Leo Szilard , el inventor de la reacción nuclear en cadena , también expresó críticas al sistema de toma de decisiones para la financiación científica en su libro "La voz de los delfines y otras historias". [51] El senador J. Lister Hill leyó extractos de esta crítica en una audiencia del senado de 1962 sobre la ralentización de la investigación del cáncer financiada por el gobierno . [52] El trabajo de Szilard se centra en las métricas que ralentizan el progreso científico, en lugar de en métodos específicos de manipulación:

"De hecho, creo que sería bastante fácil. Podría crearse una fundación con una dotación anual de treinta millones de dólares. Los investigadores que necesiten fondos podrían solicitar subvenciones, si pudieran enviar por correo una justificación convincente. Se crearían diez comités, cada uno compuesto por doce científicos, para que examinaran esas solicitudes. Se sacaría a los científicos más activos del laboratorio y se les haría miembros de esos comités. Y se nombraría presidentes a los mejores hombres en el campo, con salarios de cincuenta mil dólares cada uno. También habría que otorgar unos veinte premios de cien mil dólares cada uno para los mejores artículos científicos del año. Eso es prácticamente todo lo que habría que hacer. Sus abogados podrían preparar fácilmente un estatuto para la fundación. De hecho, cualquiera de los proyectos de ley de la Fundación Nacional de la Ciencia que se presentaron en el 79.º y el 80.º Congreso podría servir perfectamente como modelo."

"En primer lugar, los mejores científicos serían sacados de sus laboratorios y se les mantendría ocupados en comités que aprobarían solicitudes de fondos. En segundo lugar, los trabajadores científicos necesitados de fondos se concentrarían en problemas que se consideraban prometedores y que era bastante seguro que llevarían a resultados publicables. Durante unos pocos años podría haber un gran aumento en la producción científica; pero si se perseguía lo obvio, muy pronto la ciencia se agotaría. La ciencia se convertiría en algo así como un juego de salón. Algunas cosas se considerarían interesantes, otras no. Habría modas. Aquellos que siguieran las modas obtendrían subvenciones. Aquellos que no las siguieran, no las obtendrían, y muy pronto aprenderían a seguirlas también". [51]

Véase también

Referencias

  1. ^ abcd Hirsch, JE (7 de noviembre de 2005). "Un índice para cuantificar la producción de investigación científica de un individuo". Actas de la Academia Nacional de Ciencias . 102 (46): 16569–16572. arXiv : physics/0508025 . Bibcode :2005PNAS..10216569H. doi : 10.1073/pnas.0507655102 . PMC  1283832. PMID  16275915 .
  2. ^ ab Peter A., ​​Lawrence (2007). "La medición errónea de la ciencia" (PDF) . Current Biology . 17 (15): R583–R585. Bibcode :2007CBio...17.R583L. doi :10.1016/j.cub.2007.06.014. PMID  17686424. S2CID  30518724.
  3. ^ ab Şengör, Celâl. Soy (2014). "Cómo la cienciometría está matando a la ciencia" (PDF) . GSA hoy . 24 (12): 44–45. doi :10.1130/GSATG226GW.1.
  4. ^ West, Jevin D.; Jensen, Michael C.; Dandrea, Ralph J.; Gordon, Gregory J.; Bergstrom, Carl T. (2013). "Métricas de factores propios a nivel de autor: evaluación de la influencia de autores, instituciones y países dentro de la comunidad de redes de investigación en ciencias sociales". Revista de la Sociedad Estadounidense de Ciencias de la Información y Tecnología . 64 (4): 787–801. doi :10.1002/asi.22790.
  5. ^ ab Pan, Raj Kumar; Fortunato, Santo (2014). "Factor de impacto del autor: seguimiento de la dinámica del impacto científico individual". Scientific Reports . 4 : 4880. arXiv : 1312.2650 . Bibcode :2014NatSR...4E4880P. doi :10.1038/srep04880. PMC 4017244 . PMID  24814674. 
  6. ^ Batista PD; et al. (2006). "¿Es posible comparar investigadores con diferentes intereses científicos?". Cienciometría . 68 (1): 179–89. arXiv : physics/0509048 . doi :10.1007/s11192-006-0090-4. S2CID  119068816.
  7. ^ Koltun, V; Hafner, D (2021). "El índice h ya no es un correlato eficaz de la reputación científica". PLOS ONE . ​​16 (6): e0253397. arXiv : 2102.03234 . Bibcode :2021PLoSO..1653397K. doi : 10.1371/journal.pone.0253397 . PMC 8238192 . PMID  34181681. 
  8. ^ Bornmann, Lutz; Mutz, Rüdiger; Daniel, Hans-Dieter (2010). "La medición del resultado de la investigación mediante el índice h : dos enfoques para mejorar su precisión". Journal of Informetrics . 4 (3): 407–14. doi :10.1016/j.joi.2010.03.005.
  9. ^ Kaur, Jasleen; Radicchi, Filippo; Menczer, Filippo (2013). "Universalidad de las métricas de impacto académico". Journal of Informetrics . 7 (4): 924–32. arXiv : 1305.6339 . doi :10.1016/j.joi.2013.09.002. S2CID  7415777.
  10. ^ West, Jevin D.; Jensen, Michael C.; Dandrea, Ralph J.; Gordon, Gregory J.; Bergstrom, Carl T. (abril de 2013). "Métricas de factores propios a nivel de autor: evaluación de la influencia de autores, instituciones y países dentro de la comunidad de redes de investigación en ciencias sociales". Revista de la Sociedad Estadounidense de Ciencias de la Información y Tecnología . 64 (4): 787–801. doi :10.1002/asi.22790.
  11. ^ Kashyap Dixit; S Kameshwaran; Sameep Mehta; Vinayaka Pandit; N Viswanadham (febrero de 2009). "Hacia la explotación simultánea de la estructura y los resultados en redes de interacción para la clasificación de nodos" (PDF) . Informe de investigación de IBM R109002 .; véase también Kameshwaran, Sampath; Pandit, Vinayaka; Mehta, Sameep; Viswanadham, Nukala; Dixit, Kashyap (2010). "Ranking consciente de resultados en redes de interacción". Actas de la 19.ª conferencia internacional de la ACM sobre gestión de la información y el conocimiento – CIKM '10 . pág. 229. doi :10.1145/1871437.1871470. ISBN 9781450300995.
  12. ^ Connor, James; Blog de Google Scholar. "Google Scholar Citations Open To All", Google, 16 de noviembre de 2011, consultado el 24 de noviembre de 2011
  13. ^ ""Professoren der nächsten Generation "| NZZ". Neue Zürcher Zeitung (en alemán) . Consultado el 25 de mayo de 2020 .
  14. ^ Knowles, Jamillah (10 de agosto de 2012). "ResearchGate lanza RG Score - Klout for Boffins". The Next Web . Consultado el 26 de mayo de 2020 .
  15. ^ ab Thelwall, M.; Kousha, K. (2014). "ResearchGate: ¿Difundir, comunicar y medir la erudición?" (PDF) . Revista de la Asociación de Ciencia y Tecnología de la Información . 66 (5): 876–889. CiteSeerX 10.1.1.589.5396 . doi :10.1002/asi.23236. S2CID  8974197. Archivado (PDF) desde el original el 18 de febrero de 2018. Consultado el 30 de julio de 2018 . 
  16. ^ Yu, Min-Chun (febrero de 2016). "ResearchGate: ¿Un indicador altmétrico eficaz para investigadores activos?". Computers in Human Behavior . 55 : 1001–1006. doi :10.1016/j.chb.2015.11.007.
  17. ^ ab Kraker, Peter; Lex, Elisabeth (2015). "Una mirada crítica a la puntuación de ResearchGate como medida de reputación científica". Actas del taller de cuantificación y análisis de la comunicación académica en la Web (ASCW'15) .
  18. ^ ab Jordan, Katy (2015). Exploración de la puntuación ResearchGate como métrica académica: reflexiones e implicaciones para la práctica . Cuantificación y análisis de la comunicación académica en la Web (ASCW'15).
  19. ^ Hoffmann, CP; Lutz, C.; Meckel, M. (2016). "¿Una altmétrica relacional? La centralidad de la red en ResearchGate como indicador del impacto científico" (PDF) . Revista de la Asociación de Ciencia y Tecnología de la Información . 67 (4): 765–775. doi :10.1002/asi.23423. S2CID  7769870.
  20. ^ Yu, Min-Chun (febrero de 2016). "ResearchGate: ¿Un indicador altmétrico eficaz para investigadores activos?". Computers in Human Behavior . 55 : 1001–1006. doi :10.1016/j.chb.2015.11.007.
  21. ^ Cooke, Bec. "Guías: Métricas de investigación: Impacto de citas ponderado por campo". libguides.usc.edu.au .
  22. ^ "Libro de recetas de métricas de bola de nieve" (PDF) . 2012.
  23. ^ Tauro, Kiera. "Guías temáticas: 6. Medir el impacto: Impacto de las citas ponderadas por campo". canterbury.libguides.com .
  24. ^ Anne-Wil Harzing (23 de abril de 2008). "Reflexiones sobre el índice h" . Consultado el 18 de julio de 2013 .
  25. ^ von Bohlen y Halbach O (2011). "¿Cómo juzgar un libro por su portada? ¿Qué utilidad tienen los índices bibliométricos para la evaluación de la "calidad científica" o la "productividad científica"?". Annals of Anatomy . 193 (3): 191–96. doi :10.1016/j.aanat.2011.03.011. PMID  21507617.
  26. ^ Egghe, Leo (2006). "Teoría y práctica del índice g ". Cienciometría . 69 (1): 131–152. doi :10.1007/s11192-006-0144-7. hdl : 1942/981 . S2CID  207236267.
  27. ^ Zhang, Chun-Ting (2009). Joly, Etienne (ed.). "El índice e, que complementa el índice h para el exceso de citas". PLOS ONE . ​​4 (5): e5429. Bibcode :2009PLoSO...4.5429Z. doi : 10.1371/journal.pone.0005429 . PMC 2673580 . PMID  19415119. 
  28. ^ Dodson, MV (2009). "Análisis de citas: Mantenimiento del índice h y uso del índice e". Comunicaciones de investigación bioquímica y biofísica . 387 (4): 625–26. doi :10.1016/j.bbrc.2009.07.091. PMID  19632203.
  29. ^ Bras-Amorós, M.; Domingo-Ferrer, J.; Torra, V (2011). "Un índice bibliométrico basado en la distancia de colaboración entre autores citados y citantes". Journal of Informetrics . 5 (2): 248–64. doi :10.1016/j.joi.2010.11.001. hdl :10261/138172.
  30. ^ Dorogovtsev, SN ; Mendes, JFF (2015). "Ranking de científicos". Nature Physics . 11 (11): 882–84. arXiv : 1511.01545 . Código Bibliográfico :2015NatPh..11..882D. doi :10.1038/nphys3533. S2CID  12533449.
  31. ^ Fatchur Rochim, Adian (noviembre de 2018). "Mejora de la equidad del índice h: índice RA". DESIDOC Journal of Library & Information Technology . 38 (6): 378–386. doi : 10.14429/djlit.38.6.12937 .
  32. ^ Belikov, Aleksey V.; Belikov, Vitaly V. (22 de septiembre de 2015). "Un índice logarítmico normalizado por edad y autor basado en citas para la evaluación de investigadores individuales independientemente del número de publicaciones". F1000Research . 4 : 884. doi : 10.12688/f1000research.7070.1 . PMC 4654436 . 
  33. ^ Motor de búsqueda exaly. "Motor de búsqueda exaly". Base de datos gratuita de artículos y revistas . Consultado el 20 de mayo de 2022 .
  34. ^ Silagadze, ZK (2010). "Entropía de citas y estimación del impacto de la investigación". Acta Phys. Pol. B . 41 (2010): 2325–33. arXiv : 0905.1039 . Código Bibliográfico :2009arXiv0905.1039S.
  35. ^ Wu, Qiang (2009). "El índice w: una medida para evaluar el impacto científico centrándose en artículos ampliamente citados". Revista de la Sociedad Estadounidense de Ciencias de la Información y Tecnología . 61 (3): 609–614. arXiv : 0805.4650 . doi :10.1002/asi.21276. S2CID  : 119293304.
  36. ^ Tscharntke, T.; Hochberg, ME; Rand, TA; Resh, VH; Krauss, J. (2007). "Secuencia de autores y crédito por contribuciones en publicaciones con varios autores". PLOS Biology . 5 (1): e18. doi : 10.1371/journal.pbio.0050018 . PMC 1769438 . PMID  17227141. 
  37. ^ Gągolewski, M.; Grzegorzewski, P. (2009). "Un enfoque geométrico para la construcción de índices de impacto científico". Cienciometría . 81 (3): 617–34. doi :10.1007/s11192-008-2253-y. S2CID  466433.
  38. ^ Acuna, Daniel E.; Allesina, Stefano; Kording, Konrad P. (2012). "Impacto futuro: predicción del éxito científico". Nature . 489 (7415): 201–02. Bibcode :2012Natur.489..201A. doi :10.1038/489201a. PMC 3770471 . PMID  22972278. 
  39. ^ Penner, Orion; Pan, Raj K.; Petersen, Alexander M.; Kaski, Kimmo; Fortunato, Santo (2013). "Sobre la previsibilidad del impacto futuro en la ciencia". Scientific Reports . 3 (3052): 3052. arXiv : 1306.0114 . Bibcode :2013NatSR...3E3052P. doi :10.1038/srep03052. PMC 3810665 . PMID  24165898. 
  40. ^ Schreiber, Michael (2015). "Restricción del índice h a una ventana temporal de publicación y citación: un estudio de caso de un índice de Hirsch cronometrado". Journal of Informetrics . 9 : 150–55. arXiv : 1412.5050 . doi :10.1016/j.joi.2014.12.005. S2CID  12320545.
  41. ^ Hirsch, Jorge E. (2020). "Superconductividad, ¿qué demonios? El emperador está desnudo". Física y sociedad . 49 : 5–9. arXiv : 2001.09496 . Propuse el índice H con la esperanza de que fuera una medida objetiva de los logros científicos. En general, creo que así se cree. Pero ahora he llegado a creer que también puede fallar espectacularmente y tener graves consecuencias negativas no deseadas. Puedo entender cómo se debe haber sentido el aprendiz de brujo. (p. 5)
  42. ^ Seppelt, Ralf (2018). "El arte del desempeño científico". Tendencias en ecología y evolución . 11 (33): 805–809. doi :10.1016/j.tree.2018.08.003. PMID  30270172. S2CID  52890068.
  43. ^ Gálvez RH (marzo de 2017). "Evaluación de la autocitación del autor como mecanismo de difusión del conocimiento relevante". Cienciometría . 111 (3): 1801–1812. doi :10.1007/s11192-017-2330-1. S2CID  6863843.
  44. ^ Christoph Bartneck y Servaas Kokkelmans; Kokkelmans (2011). "Detección de manipulación del índice h mediante análisis de autocitas". Cienciometría . 87 (1): 85–98. doi :10.1007/s11192-010-0306-5. PMC 3043246 . PMID  21472020. 
  45. ^ Emilio Ferrara y Alfonso Romero; Romero (2013). "Evaluación del impacto científico y el efecto de las autocitas: mitigación del sesgo descontando el índice h ". Revista de la Sociedad Americana de la Ciencia y la Tecnología de la Información . 64 (11): 2332–39. arXiv : 1202.3119 . doi :10.1002/asi.22976. S2CID  12693511.
  46. ^ Labbé, Cyril (2010). Ike Antkare una de las grandes estrellas del firmamento científico (PDF) . Laboratoire d'Informatique de Grenoble RR-LIG-2008 (informe técnico) (Informe). Universidad José Fourier .
  47. ^ Wilhite, AW; Fong, EA (2012). "Citación coercitiva en publicaciones académicas". Science . 335 (6068): 542–3. Bibcode :2012Sci...335..542W. doi :10.1126/science.1212540. PMID  22301307. S2CID  30073305.
  48. ^ Noorden, Richard Van (6 de febrero de 2020). "Investigador muy citado expulsado del comité de la revista por abuso de citas". Nature . 578 (7794): 200–201. Bibcode :2020Natur.578..200V. doi : 10.1038/d41586-020-00335-7 . PMID  32047304.
  49. ^ Rustam Tagiew; Dmitry I. Ignatov (2017). "Minería de comportamiento en el juego de clasificación del índice h" (PDF) . Actas del taller CEUR . 1968 : 52–61.
  50. ^ Fire, Michael; Guestrin, Carlos (1 de junio de 2019). "Sobreoptimización de las métricas de publicación académica: observación de la Ley de Goodhart en acción". GigaScience . 8 (6). arXiv : 1809.07841 . doi :10.1093/gigascience/giz053. PMC 6541803 . PMID  31144712. 
  51. ^ ab La voz de los delfines y otros cuentos . Nueva York: Simon and Schuster. 1961.
  52. ^ Comité, Asignaciones del Senado del Congreso de los Estados Unidos (1961). Asignaciones para trabajo, salud, educación y bienestar para 1962, Audiencias ante el Subcomité de ... , 87-1 sobre HR 7035. pág. 1498.

Lectura adicional