Statcheck es un paquete R diseñado para detectar errores estadísticos en artículos de psicología revisados por pares [1] buscando resultados estadísticos en los artículos, rehaciendo los cálculos descritos en cada artículo y comparando los dos valores para ver si coinciden. [2] Aprovecha el hecho de que los artículos de investigación psicológica tienden a informar sus resultados de acuerdo con las pautas publicadas por la Asociación Estadounidense de Psicología (APA). [3] Esto genera varias desventajas: solo puede detectar resultados informados de manera completa y exacta con las pautas de la APA, [4] y no puede detectar estadísticas que solo se incluyen en tablas en el artículo. [5] Otra limitación es que Statcheck no puede lidiar con correcciones estadísticas a las estadísticas de prueba, como las correcciones de Greenhouse-Geisser o Bonferroni, que en realidad hacen que las pruebas sean más conservadoras. [6] Algunas revistas han comenzado a probar Statcheck como parte de su proceso de revisión por pares . Statcheck es un software libre publicado bajo la GNU GPL v3. [7]
En 2017, los desarrolladores de Statcheck publicaron un artículo de preimpresión en el que concluían que el programa identificaba con precisión los errores estadísticos más del 95 % de las veces. [8] Este estudio de validez comprendió más de 1000 pruebas revisadas manualmente, de las cuales el 5,00 % resultó ser inconsistente. [9] El estudio descubrió que Statcheck reconocía el 60 % de todas las pruebas estadísticas. Un nuevo análisis de estos datos descubrió que si el programa marcaba una prueba como inconsistente, era correcta en el 60,4 % de los casos. A la inversa, si una prueba era realmente inconsistente, Statcheck la marcaba en un estimado del 51,8 % de los casos (esta estimación incluía las pruebas no detectadas y asumía que tenían la misma tasa de inconsistencias que las pruebas detectadas). En general, la precisión de Statcheck fue del 95,9 %, medio punto porcentual más alto que el nivel de probabilidad del 95,4 % esperado cuando todas las pruebas se toman simplemente al pie de la letra. Statcheck estaba sesgado de manera conservadora (por aproximadamente una desviación estándar) contra el marcado de pruebas. [10]
En una investigación más reciente se ha utilizado Statcheck en artículos publicados en revistas canadienses de psicología y se han encontrado índices de errores de presentación de datos estadísticos similares a los de los autores originales, basándose en una muestra de 30 años de dichos artículos. El mismo estudio también encontró muchos errores tipográficos en versiones en línea de artículos relativamente antiguos, y que al corregirlos se redujo el porcentaje estimado de pruebas que se informaron erróneamente. [11]
Statcheck fue desarrollado por primera vez en 2015 por Michele Nuijten de la Universidad de Tilburg y Sacha Epskamp de la Universidad de Ámsterdam . [12] [8] Más tarde ese año, Nuijten y sus colegas publicaron un artículo utilizando Statcheck en más de 30.000 artículos de psicología e informaron que "la mitad de todos los artículos de psicología publicados [...] contenían al menos un valor p que era inconsistente con su prueba". [13] El estudio fue posteriormente escrito favorablemente en Nature . [14] [15] En 2016, Nuijten y Epskamp recibieron el Premio Leamer-Rosenthal para Ciencias Sociales Abiertas de la Iniciativa Berkeley para la Transparencia en las Ciencias Sociales por crear Statcheck. [16]
En 2016, el investigador de la Universidad de Tilburg Chris Hartgerink utilizó Statcheck para escanear más de 50.000 artículos de psicología y publicó los resultados en PubPeer ; posteriormente, publicaron los datos que extrajeron de estos artículos en un artículo en la revista Data . [14] [17] Hartgerink le dijo a Motherboard que "estamos comprobando qué tan confiable es la ciencia real que presenta la ciencia". [18] También le dijeron a Vox que tenían la intención de utilizar Statcheck para realizar una función similar a un programa de software de corrección ortográfica . [12] La acción de Hartgerink también envió alertas por correo electrónico a todos los investigadores que habían sido autores o coautores de un artículo que había marcado. Estas marcas, y su publicación en un foro público, resultaron controvertidas, lo que llevó a la Sociedad Alemana de Psicología a emitir una declaración condenando este uso de Statcheck. [14] La psicóloga Dorothy VM Bishop , que tenía dos de sus propios artículos marcados por Statcheck, criticó al programa por marcar públicamente muchos artículos (incluido uno propio) a pesar de no haber encontrado ningún error estadístico en él. [19] Otros críticos alegaron que Statcheck había informado de la presencia de errores en artículos que en realidad no los contenían, debido a la falla de la herramienta para leer correctamente las estadísticas de ciertos artículos. [20]
Las revistas que han comenzado a probar el uso de Statcheck como parte de su proceso de revisión por pares incluyen Psychological Science , [21] Canadian Journal of Human Sexuality , [22] y Journal of Experimental Social Psychology . [23] El editor de acceso abierto PsychOpen también lo ha utilizado en todos los artículos aceptados para su publicación en sus revistas desde 2017. [24]
{{cite book}}: |website=ignorado ( ayuda )