La revisión por pares requiere una comunidad de expertos en un campo determinado (y a menudo estrechamente definido), que estén calificados y puedan realizar una revisión razonablemente imparcial.
[9] La revisión por pares se convirtió en una piedra de toque del método científico, pero hasta finales del siglo XIX a menudo la realizaba directamente un editor en jefe o un comité editorial.
[16] Revistas como Science y American Journal of Medicine recurrieron cada vez más a revisores externos en las décadas de 1950 y 1960, en parte para reducir la carga de trabajo editorial.
Este proceso parece haberse desarrollado independientemente del de la revisión editorial por pares.
[18] Pragmáticamente, la revisión por pares se refiere al trabajo realizado durante la selección de los manuscritos enviados.
Por ejemplo, Springer afirma que hay dos o tres revisores por artículo.
Un editor evalúa el manuscrito para juzgar si el documento se pasará a los árbitros de la revista.
El rechazo de escritorio está destinado a ser un proceso simplificado para que los editores puedan descartar rápidamente manuscritos no viables y brindar a los autores la oportunidad de buscar una revista más adecuada.
Por ejemplo, los editores de European Accounting Review someten cada manuscrito a tres preguntas para decidir si un manuscrito pasa a los árbitros: 1) ¿El artículo es adecuado para los objetivos y el alcance de la revista?
[22] La American Psychological Association publica las tasas de rechazo de varias publicaciones importantes en el campo, y aunque no especifican si el rechazo es una evaluación previa o posterior, sus cifras en 2016 oscilaron entre un mínimo del 49 % y un máximo del 90 %.
Si el documento no es rechazado, los editores envían el manuscrito a los árbitros, quienes son elegidos por su experiencia y distancia de los autores.
Estos factores incluyen si el manuscrito: ofrece «una nueva visión de un tema importante», será útil para los profesionales, propone una nueva teoría, plantea nuevas preguntas, tiene métodos y conclusiones apropiados, presenta un buen argumento basado en la literatura y lo presenta de forma atractiva y clara.
[25] Estos árbitros devuelven una evaluación del trabajo al editor, señalando debilidades o problemas junto con sugerencias de mejora.
Por lo general, la mayoría de los comentarios de los árbitros finalmente son vistos por el autor, aunque un árbitro también puede enviar comentarios solo al editor; las revistas científicas observan esta convención casi universalmente.
[32] Tradicionalmente, los revisores a menudo permanecen anónimos para los autores, pero este estándar varía tanto con el tiempo como con el campo académico.
En algunos campos académicos, la mayoría de las revistas ofrecen al revisor la opción de permanecer en el anonimato o no, o un árbitro puede optar por firmar una revisión, renunciando así al anonimato.
La alternativa, la revisión por pares atribuida implica revelar las identidades de los revisores.
Algunos revisores optan por renunciar a su derecho al anonimato, incluso cuando el formato predeterminado de la revista es una revisión por pares ciega.
[46][47] Eugene Koonin, investigador principal del Centro Nacional de Información sobre Biotecnología, afirma que el sistema tiene "males conocidos" y defiende la "revisión por pares abierta".
Al mismo tiempo, los científicos establecidos son más propensos que otros a ser buscados como árbitros, particularmente por revistas / editoriales de alto prestigio.
Esto concuerda con las conocidas observaciones de Thomas Kuhn sobre las revoluciones científicas.
[67] Se ha establecido un modelo teórico cuyas simulaciones implican que la revisión por pares y el financiamiento de investigación sobrecompetitivo fomentan la opinión dominante al monopolio.
[68] Las críticas a la revisión por pares anónima tradicional alegan que carece de responsabilidad, puede conducir al abuso por parte de los revisores y puede ser parcial e inconsistente.
[47][45][69] La revisión por pares falla cuando un artículo revisado por pares contiene errores fundamentales que socavan al menos una de sus conclusiones principales y que podrían haber sido identificados por revisores más cuidadosos.
[70] La revisión por pares en revistas científicas supone que el artículo revisado ha sido preparado con honestidad.
El proceso ocasionalmente detecta fraude, pero no está diseñado para hacerlo.
Por lo tanto, están en una mejor posición para detectar el plagio de la prosa que los datos fraudulentos.
Toma la forma de un gran cubo de hormigón, o dados, con "Aceptar", "Cambios menores", "Cambios mayores", "Revisar y volver a enviar" y "Rechazar" en sus cinco lados visibles.
El sociólogo Igor Chirikov, quien ideó el monumento, dijo que si bien los investigadores tienen una relación de amor y odio con la revisión por pares, los revisores, no obstante, hacen un trabajo valioso, pero en su mayoría invisible, y el monumento es un tributo para ellos.