stringtranslate.com

Revisión por pares abierta

La revisión abierta por pares son las diversas modificaciones posibles del proceso tradicional de revisión por pares académicos . Las tres modificaciones más comunes a las que se aplica el término son: [1]

  1. Identidades abiertas: los autores y revisores conocen la identidad de cada uno. [2] [3]
  2. Informes abiertos: los informes de revisión se publican junto con el artículo relevante (en lugar de mantenerse confidenciales).
  3. Participación abierta: la comunidad en general (y no solo los revisores invitados) puede contribuir al proceso de revisión.

Se supone que estas modificaciones abordan varias deficiencias percibidas en el proceso tradicional de revisión por pares académicos, en particular su falta de transparencia, falta de incentivos, despilfarro, [1] intimidación y acoso. [4]

Definiciones

Identidades abiertas
La revisión por pares abierta puede definirse como "cualquier mecanismo de revisión académica que proporcione la divulgación de las identidades del autor y del árbitro entre sí en cualquier momento durante el proceso de revisión o publicación por pares". [5] Entonces las identidades del revisor pueden o no ser reveladas al público. Esto contrasta con el proceso tradicional de revisión por pares, donde los revisores permanecen anónimos para cualquiera excepto los editores de la revista, mientras que los nombres de los autores se revelan desde el principio.
Informes abiertos
La revisión por pares abierta puede definirse como hacer públicos los informes de los revisores, en lugar de revelarlos únicamente a los autores del artículo. Esto puede incluir la publicación del resto del historial de revisión por pares, es decir, las respuestas de los autores y las recomendaciones de los editores. En la mayoría de los casos, esto se aplica únicamente a los artículos que se aceptan para su publicación y no a los que se rechazan.
Participación abierta
La revisión por pares abierta puede definirse como permitir que revisores autoseleccionados comenten un artículo, en lugar de (o además de) tener revisores seleccionados por los editores. Esto supone que el texto del artículo es de acceso abierto. Los revisores autoseleccionados pueden ser examinados o no en función de sus credenciales básicas, y pueden contribuir con comentarios breves o reseñas completas. [1]

Historia

En 1999 se lanzó la revista de acceso abierto Journal of Medical Internet Research [6] , que desde sus inicios decidió publicar los nombres de los revisores al pie de cada artículo publicado. También en 1999, el British Medical Journal pasó a un sistema abierto de revisión por pares, revelando las identidades de los revisores a los autores pero no a los lectores, [7] y en 2000, las revistas médicas de la serie BMC de acceso abierto [8] publicadas por BioMed Central , lanzado mediante revisión por pares abierta. Al igual que con el BMJ , los nombres de los revisores se incluyen en los informes de revisión por pares. Además, si el artículo se publica, los informes están disponibles en línea como parte del "historial previo a la publicación". [ cita necesaria ]

Varias otras revistas publicadas por BMJ Group permiten una revisión por pares abierta opcional, [7] al igual que PLoS Medicine , publicada por la Biblioteca Pública de Ciencias . [9] Las Respuestas Rápidas del BMJ permiten un debate y una crítica continuos después de su publicación. [10]

En junio de 2006, Nature lanzó un experimento en paralelo con una revisión abierta por pares: algunos artículos que habían sido enviados al proceso anónimo regular también estaban disponibles en línea para comentarios públicos abiertos e identificados. Los resultados fueron poco alentadores: sólo el 5% de los autores aceptaron participar en el experimento y sólo el 54% de esos artículos recibieron comentarios. [11] [12] Los editores han sugerido que los investigadores pueden haber estado demasiado ocupados para participar y se mostraron reacios a hacer públicos sus nombres. El conocimiento de que los artículos estaban siendo sometidos simultáneamente a una revisión anónima por pares también puede haber afectado la aceptación.

En febrero de 2006, BioMed Central lanzó la revista Biology Direct , añadiendo otra alternativa al modelo tradicional de revisión por pares. Si los autores pueden encontrar tres miembros del consejo editorial, cada uno de los cuales entregará un informe o solicitarán una revisión externa, el artículo será publicado. Al igual que con Philica , los revisores no pueden suprimir la publicación, pero a diferencia de Philica , ninguna reseña es anónima y ningún artículo se publica sin ser revisado. Los autores tienen la oportunidad de retirar su artículo, revisarlo en respuesta a las revisiones o publicarlo sin revisión. Si los autores continúan con la publicación de su artículo a pesar de los comentarios críticos, los lectores podrán ver claramente los comentarios negativos junto con los nombres de los revisores. [13] [ se necesita fuente de terceros ] En las ciencias sociales, se han realizado experimentos con reseñas de pares firmadas al estilo wiki , por ejemplo en una edición del Shakespeare Quarterly . [14]

En 2010, el BMJ comenzó a publicar informes de revisores firmados junto con los artículos aceptados, después de determinar que decirles a los revisores que sus revisiones firmadas podrían publicarse públicamente no afectaba significativamente la calidad de las revisiones. [15]

En 2011, se lanzó Peerage of Science , un servicio de revisión por pares independiente, con varios enfoques no tradicionales para la revisión por pares académicos. Los más destacados incluyen juzgar y calificar la precisión y justificación de las revisiones por pares, y el uso simultáneo de una única ronda de revisión por pares por parte de varias revistas participantes. [ cita necesaria ] Peerage of Science cerró solo unos años después de su fundación, porque no podía atraer suficientes editores ni críticos.

A partir de 2013 con el lanzamiento de F1000Research , algunos editores han combinado la revisión por pares abierta con la revisión por pares posterior a la publicación mediante el uso de un sistema de artículos versionados. En F1000Research , los artículos se publican antes de la revisión, y los informes de revisión por pares invitados (y los nombres de los revisores) se publican con el artículo a medida que llegan. [16] Las versiones revisadas por el autor del artículo luego se vinculan al original. Science Open, lanzado en 2014, utiliza un sistema similar de revisión posterior a la publicación con artículos versionados .

También en 2013, investigadores de la Facultad de Ciencias de la Información y la Computación de la Universidad de Massachusetts Amherst fundaron el sitio web OpenReview [18] para alojar informes de revisión anónimos junto con artículos, que a partir de 2023 es popular entre los científicos informáticos.

En 2014, Life implantó un sistema abierto de revisión por pares, [19] según el cual los informes de revisión por pares y las respuestas de los autores se publican como parte integral de la versión final de cada artículo.

Desde 2016, Synlett está experimentando con una revisión colectiva cerrada por pares. El artículo bajo revisión se envía a un grupo de más de 80 revisores expertos que luego comentan en colaboración sobre el manuscrito. [20]

En un esfuerzo por abordar los problemas relacionados con la reproducibilidad de los resultados de la investigación, algunos académicos piden que los autores acepten compartir sus datos sin procesar como parte del proceso de revisión por pares. [21] Ya en 1962, por ejemplo, varios psicólogos intentaron obtener conjuntos de datos brutos de otros investigadores, con resultados mixtos, para volver a analizarlos. Un intento reciente dio como resultado sólo siete conjuntos de datos de cincuenta solicitudes. La noción de obtener, y mucho menos exigir, datos abiertos como condición para la revisión por pares sigue siendo controvertida. [22] En 2020, la falta de acceso a los datos sin procesar por parte de la revisión por pares provocó la retractación de artículos en los prestigiosos The New England Journal of Medicine y The Lancet . Muchas revistas ahora requieren acceso a datos sin procesar para incluirlos en la revisión por pares. [23]

Adopción

Adopción por parte de los editores

Estos editores y revistas operan varios tipos de revisión abierta por pares:

La revisión por pares en The BMJ , [30] BioMed Central , [31] EMBO, [32] eLife , [33] ReScience C , [28] y la revista Semantic Web [34] implica publicar todo el historial previo a la publicación del artículo. en línea, incluyendo no sólo reseñas firmadas del artículo, sino también sus versiones anteriores y, en algunos casos, nombres de los editores encargados y respuestas de los autores a los revisores. Además, la revista Semantic Web publica reseñas de todos los envíos, incluidos los rechazados, en su sitio web, mientras que eLife planea publicar reseñas no sólo de los artículos publicados, sino también de los rechazados. [35]

La Unión Europea de Geociencias organiza debates públicos en los que se lleva a cabo una revisión abierta por pares antes de aceptar artículos adecuados para su publicación en la revista. [36]

Sci , una revista de acceso abierto que cubre todos los campos de investigación, adaptó una revisión pública por pares (P4R) posterior a la publicación en la que prometió a los autores visibilidad inmediata de sus manuscritos en la plataforma en línea de la revista después de una breve y limitada verificación de la solidez científica y la presentación adecuada de informes. y contra el plagio y el material ofensivo; el manuscrito queda abierto a la revisión pública de toda la comunidad. [37] [38] [39] [40]

En 2021, los autores de casi la mitad de los artículos publicados por Nature optaron por publicar también los informes de los revisores. La revista considera que esto es una prueba alentadora de revisión por pares transparente. [41]

Revisión por pares abierta de preimpresiones

Algunas plataformas, incluidos algunos servidores de preimpresiones, facilitan la revisión abierta por pares de las preimpresiones.

Ventajas y desventajas

Argumentó

Se ha argumentado que las identidades abiertas incitan a los revisores a ser "más discretos y constructivos" de lo que serían si pudieran permanecer en el anonimato, al tiempo que permiten a los autores acumular enemigos que intentan evitar que sus artículos se publiquen o que sus solicitudes de subvención tengan éxito. [46]

Se ha argumentado que la revisión abierta por pares en todas sus formas favorece una revisión más honesta y evita que los revisores sigan sus agendas individuales. [47]

Un artículo de Lonni Besançon et al. también ha argumentado que la revisión abierta por pares ayuda a evaluar la legitimidad de los manuscritos que contienen conflictos de intereses editoriales; Los autores sostienen que la pandemia de COVID-19 ha impulsado a muchos editores a abrir su proceso de revisión, aumentando la transparencia en el proceso. [48]

Observado

En un experimento con 56 artículos de investigación aceptados por el Medical Journal of Australia en 1996-1997, los artículos se publicaron en línea junto con los comentarios de los revisores; los lectores podían enviar sus comentarios por correo electrónico y los autores podían modificar aún más sus artículos antes de su publicación impresa. [49] Los investigadores concluyeron que el proceso tuvo beneficios modestos para los autores, editores y lectores.

Algunos estudios han encontrado que las identidades abiertas conducen a un aumento en la calidad de las reseñas, mientras que otros estudios no encuentran ningún efecto significativo. [50]

La revisión abierta por pares en las revistas del BMJ se ha prestado a ensayos aleatorios para estudiar la identidad abierta y las revisiones abiertas de informes. Estos estudios no encontraron que las identidades abiertas y los informes abiertos afectaran significativamente la calidad de la revisión o la tasa de aceptación de los artículos para su publicación, y solo se informó un caso de conflicto entre autores y revisores ("evento adverso"). El único efecto negativo significativo de la revisión por pares abierta fue "aumentar la probabilidad de que los revisores se nieguen a revisar". [3] [51]

En algunos casos, las identidades abiertas han ayudado a detectar conflictos de intereses de los revisores. [52]

La participación abierta ha sido criticada por ser una forma de concurso de popularidad en el que los autores conocidos tienen más probabilidades de que sus manuscritos sean revisados ​​que otros. [53] Sin embargo, incluso con esta implementación de Open Peer Reviews, tanto los autores como los revisores reconocieron que Open Reviews podría conducir a una mayor calidad de las revisiones, fomentar colaboraciones y reducir el efecto "citarme".

Según un editorial de Nature de 2020, [25] la experiencia de Nature Communications niega las preocupaciones de que los informes abiertos serían menos críticos o requerirían una cantidad excesiva de trabajo por parte de los revisores.

Gracias a los comentarios de los revisores publicados, es posible realizar estudios cuantitativos del proceso de revisión por pares. Por ejemplo, un estudio de 2021 descubrió que el escrutinio por parte de más revisores en su mayoría no se correlaciona con artículos más impactantes. [54]

Ver también

Referencias

  1. ^ a b C Ross-Hellauer, Tony (31 de agosto de 2017). "¿Qué es la revisión por pares abierta? Una revisión sistemática". F1000Investigación . F1000 Research Ltd. 6 : 588. doi : 10.12688/f1000research.11369.2 . ISSN  2046-1402. PMC  5437951 . PMID  28580134.
  2. ^ Walsh E, Rooney M, Appleby L, Wilkinson G (enero de 2000). "Revisión por pares abierta: un ensayo controlado aleatorio". La revista británica de psiquiatría . 176 (1): 47–51. doi : 10.1192/bjp.176.1.47 . PMID  10789326.
  3. ^ ab van Rooyen S, Godlee F, Evans S, Black N, Smith R (enero de 1999). "Efecto de la revisión por pares abierta sobre la calidad de las revisiones y sobre las recomendaciones de los revisores: un ensayo aleatorizado". BMJ . 318 (7175): 23–7. doi :10.1136/bmj.318.7175.23. PMC 27670 . PMID  9872878. 
  4. ^ Sanders, Jeremy KM (enero de 2020). "Editorial 2020: Cambiando la cultura editorial y académica". Ciencia abierta de la Royal Society . 7 (1): 192197. Código bibliográfico : 2020RSOS....792197S. doi :10.1098/rsos.192197. ISSN  2054-5703. PMC 7029889 . PMID  32218987. 
  5. ^ Ford E (20 de julio de 2015). "Revisión por pares abierta en cuatro revistas STEM: una descripción general observacional". F1000Investigación . 4 : 6. doi : 10.12688/f1000research.6005.2 . PMC 4350441 . PMID  25767695. 
  6. ^ "Inicio JMIR". JMIR.org . Consultado el 4 de enero de 2012 .
  7. ^ ab Smith, R. (enero de 1999). "Apertura de la revisión por pares de BMJ". BMJ . 318 (7175): 4–5. doi :10.1136/bmj.318.7175.4. PMC 1114535 . PMID  9872861. 
  8. ^ "Serie BMC". Biomedcentral.com . Consultado el 4 de enero de 2012 .
  9. ^ Mathers, Colin D; Loncar, Dejan (27 de marzo de 2009). "PLoS Medicine: una revista de acceso abierto revisada por pares". Más Medicina . 3 (11): e442. doi : 10.1371/journal.pmed.0030442 . PMC 1664601 . PMID  17132052 . Consultado el 4 de enero de 2012 . 
  10. ^ Delamothe, T.; Smith, R. (mayo de 2002). "Veinte mil conversaciones". BMJ . 324 (7347): 1171–2. doi :10.1136/bmj.324.7347.1171. PMC 1123149 . PMID  12016170. 
  11. ^ "Descripción general: ensayo de revisión por pares de Nature". Naturaleza . Diciembre de 2006. doi : 10.1038/naturaleza05535.
  12. ^ "Revisión por pares y fraude". Naturaleza . 444 (7122): 971–972. 2006. Código Bib : 2006Natur.444R.971.. doi : 10.1038/444971b . PMID  17183274. S2CID  27163842.
  13. ^ "Objetivos y alcance". Biología Directa .
  14. ^ Cohen, Patricia (23 de agosto de 2010). "Para los académicos, la Web cambia el rito sagrado de la revisión por pares". Los New York Times .
  15. ^ van Rooyen, S.; Delamothe, T.; Evans, SJ (noviembre de 2010). "Efecto en la revisión por pares de decirles a los revisores que sus revisiones firmadas podrían publicarse en la web: ensayo controlado aleatorio". BMJ . 341 : c5729. doi :10.1136/bmj.c5729. PMC 2982798 . PMID  21081600. 
  16. ^ Jeffrey Marlow (23 de julio de 2013). "Publicar primero, hacer preguntas después". Cableado . Consultado el 13 de enero de 2015 .
  17. ^ Elizabeth Allen (29 de septiembre de 2017) [8 de diciembre de 2014]. "¡La receta de nuestra (no tan) salsa secreta de revisión por pares posterior a la publicación!". ScienceOpen.com . Consultado el 13 de enero de 2015 .
  18. ^ "Revisión abierta".
  19. ^ Rampelotto, Pábulo (2014). "Editorial". Vida . 4 (2): 225–226. Bibcode : 2014Vida....4..225R. doi : 10.3390/life4020225 . PMC 4187159 . PMID  25370195. 
  20. ^ "El caso de la revisión colectiva por pares". Noticias de química e ingeniería . 2018-11-26 . Consultado el 10 de marzo de 2020 .
  21. ^ "La Iniciativa PRO para la Ciencia Abierta". Iniciativa de apertura de pares revisores . 2014-09-13 . Consultado el 15 de septiembre de 2018 .
  22. ^ Witkowski, Tomasz (2017). "Un científico impulsa las revistas de psicología hacia los datos abiertos". Investigador escéptico . 41 (4): 6–7. Archivado desde el original el 15 de septiembre de 2018.
  23. ^ Los estudios de Covid-19 basados ​​en datos defectuosos de Surgisphere obligan a las revistas médicas a revisar los procesos The Guardian, 2020
  24. ^ "MDPI | El proceso editorial". www.mdpi.com . Consultado el 16 de marzo de 2022 .
  25. ^ ab "La naturaleza publicará informes de revisión por pares a modo de prueba". Naturaleza . 578 (7793): 8. 2020. Bibcode : 2020Natur.578....8.. doi : 10.1038/d41586-020-00309-9 . PMID  32025024.
  26. ^ "Aumentar la diversidad y la profundidad del grupo de revisión por pares mediante la adopción de la identidad". OUPblog . 2021-09-21 . Consultado el 27 de enero de 2022 .
  27. ^ "Revisión por pares abierta". MÁS . 2020. Archivado desde el original el 2 de septiembre de 2021 . Consultado el 2 de septiembre de 2021 .
  28. ^ ab Perkel, Jeffrey M. (24 de agosto de 2020). "Desafío para los científicos: ¿todavía se ejecuta su código de hace diez años?". Naturaleza . 584 (7822): 656–658. Código Bib :2020Natur.584..656P. doi : 10.1038/d41586-020-02462-7 . PMID  32839567.
  29. ^ "Procedimiento de arbitraje". Publicación de ciencia . Consultado el 22 de agosto de 2021 .
  30. ^ Groves T, Loder E (septiembre de 2014). "Historias previas a la publicación y revisión por pares abierta en el BMJ". BMJ . 349 (13 de septiembre de 2003): g5394. doi : 10.1136/bmj.g5394 . PMID  25186622.
  31. ^ "¿Qué es la 'revisión por pares abierta', tal como la realizan las revistas médicas de la serie BMC?". Central de BioMed . Consultado el 31 de julio de 2015 .
  32. ^ Pulverer B (noviembre de 2010). "La transparencia muestra la fortaleza de la revisión por pares". Naturaleza . 468 (7320): 29–31. Código Bib :2010Natur.468...29P. doi : 10.1038/468029a . PMID  21048742.
  33. ^ "Revisión por pares". eVida . Consultado el 30 de diciembre de 2019 .
  34. ^ Janowicz, Krzysztof; Hitzler, Pascal (enero de 2012). "Abierto y transparente: el proceso de revisión de la revista Web Semántica". Publicaciones aprendidas . 25 (1): 48–55. doi : 10.1087/20120107 .
  35. ^ Kwon, Diana (15 de diciembre de 2020). "La revista de acceso abierto eLife anuncia el modelo de publicación 'preimpreso primero'". Naturaleza . Springer Science y Business Media LLC. doi :10.1038/d41586-020-03541-5. ISSN  0028-0836. PMID  33319829. S2CID  229172479.
  36. ^ "Publicación en línea + acceso abierto". Unión Europea de Geociencias . Consultado el 30 de diciembre de 2019 .
  37. ^ Rittman, Martyn; Vázquez, Franck (junio de 2019). "Ciencia: una revista de acceso abierto con revisión por pares posterior a la publicación". Ciencia . 1 (1): 1. doi : 10.3390/sci1010001 .
  38. ^ Jacob, Claus; Rittman, Martyn; Vázquez, Franck; Abdin, Ahmad Yaman (junio de 2019). "Evolución de la revisión por pares posterior a la publicación impulsada por la comunidad de Sci". Ciencia . 1 (1): 16. doi : 10.3390/sci1010016.v1 .
  39. ^ Vázquez, Franck; Lin, Shu-Kun; Jacob, Claus (diciembre de 2020). "Cambiar la ciencia de la revisión por pares posterior a la publicación a la revisión por pares simple ciego". Ciencia . 2 (4): 82. doi : 10.3390/sci2040082 .
  40. ^ Abdin, Ahmad Yaman; Nasim, Muhammad Jawad; Ney, Yannick; Jacob, Claus (marzo de 2021). "El papel pionero de la ciencia en la revisión pública por pares posterior a la publicación (P4R)". Publicaciones . 9 (1): 13. doi : 10.3390/publicaciones9010013 .
  41. ^ "La naturaleza está probando una revisión por pares transparente; los primeros resultados son alentadores". Naturaleza . 603 (7899): 8. 2022-03-01. Bibcode : 2022Natur.603....8.. doi : 10.1038/d41586-022-00493-w . ISSN  0028-0836. PMID  35233099. S2CID  247189806.
  42. ^ Sörgel, David; Saunders, Adán; McCallum, Andrés (14 de mayo de 2013). "Becas abiertas y revisión por pares: un momento para la experimentación". Abrir revisión . Consultado el 5 de diciembre de 2023 .
  43. ^ Brainard, Jeffrey (10 de octubre de 2019). "En un intento por aumentar la transparencia, bioRxiv comienza a publicar revisiones de pares junto a las preimpresiones". Ciencia . Asociación Estadounidense para el Avance de la Ciencia (AAAS). doi : 10.1126/ciencia.aaz8160. ISSN  0036-8075. S2CID  211766434.
  44. ^ Coy, Peter (28 de enero de 2022). "Opinión | Cómo difundir la ciencia rápidamente". Los New York Times . ISSN  0362-4331 . Consultado el 4 de octubre de 2022 .
  45. ^ Johansson, Michael A.; Saderi, Daniela (2020). "Plataforma abierta de revisión por pares para preimpresiones de COVID-19". Naturaleza . Springer Science y Business Media LLC. 579 (7797): 29. Bibcode :2020Natur.579...29J. doi : 10.1038/d41586-020-00613-4 . ISSN  0028-0836. PMID  32127711.
  46. ^ Decoursey, Thomas (marzo de 1999). "Pros y contras de la revisión por pares abierta". Neurociencia de la Naturaleza . 2 (3): 197–8. doi : 10.1038/naturaleza04991. PMID  10195206.
  47. ^ "¿Qué es la revisión por pares?". Elsevier . Consultado el 31 de julio de 2015 .
  48. ^ Besanzón, Lonni; Peiffer-Smadja, Nathan; Segalas, Corentin; Jiang, Haiting; Masuzzo, Paola; Smout, Cooper; Billy, Eric; Deforet, Maxime; Leyrat, Clémence (2020). "La ciencia abierta salva vidas: lecciones de la pandemia de COVID-19". Metodología de la investigación médica del BMC . 21 (1): 117. doi : 10.1186/s12874-021-01304-y . PMC 8179078 . PMID  34090351. 
  49. ^ Bingham, Craig M.; Higgins, Gail; Coleman, Ross; Van Der Weyden, Martín B. (1998). "Estudio de revisión por pares en Internet del Medical Journal of Australia". La lanceta . 352 (9126): 441–445. doi :10.1016/S0140-6736(97)11510-0. PMID  9708752. S2CID  34493476.
  50. ^ Lee CJ, Sugimoto CR, Zhang G, Cronin B (enero de 2013). "Sesgo en la revisión por pares". Revista de la Sociedad Estadounidense de Ciencia y Tecnología de la Información . 64 (1): 2-17. doi :10.1002/asi.22784.
  51. ^ van Rooyen S, Delamothe T, Evans SJ (noviembre de 2010). "Efecto en la revisión por pares de decirles a los revisores que sus revisiones firmadas podrían publicarse en la web: ensayo controlado aleatorio". BMJ . 341 : c5729. doi :10.1136/bmj.c5729. PMC 2982798 . PMID  21081600. 
  52. ^ Benos DJ, Bashari E, Chaves JM, Gaggar A, Kapoor N, LaFrance M, Mans R, Mayhew D, McGowan S, Polter A, Qadri Y, Sarfare S, Schultz K, Splittgerber R, Stephenson J, Tower C, Walton RG, Zotov A (junio de 2007). "Los altibajos de la revisión por pares". Avances en la educación en fisiología . 31 (2): 145–52. doi :10.1152/advan.00104.2006. PMID  17562902.
  53. ^ Besanzón, Lonni; Rönnberg, Niklas; Lowgren, Jonas; Tennant, Jonathan P.; Cooper, Mateo (2020). "Abrir: una encuesta sobre revisión por pares abierta y no anónima". Integridad de la investigación y revisión por pares . 5 (1): 8. doi : 10.1186/s41073-020-00094-z . ISSN  2058-8615. PMC 7318523 . PMID  32607252. 
  54. ^ Wolfram, Dietmar; Wang, Peiling; Abuzahra, Fuad (13 de marzo de 2021). "Una exploración de los comentarios de los árbitros publicados en revistas abiertas de revisión por pares: las características del lenguaje de revisión y la asociación entre el escrutinio de la revisión y las citas". Evaluación de la investigación . Prensa de la Universidad de Oxford (OUP). 30 (3): 314–322. doi : 10.1093/reseval/rvab005. ISSN  0958-2029.