Statcheck es un paquete R diseñado para detectar errores estadísticos en artículos de psicología revisados por pares [1] buscando resultados estadísticos en artículos, rehaciendo los cálculos descritos en cada artículo y comparando los dos valores para ver si coinciden. [2] Aprovecha el hecho de que los artículos de investigación psicológica tienden a informar sus resultados de acuerdo con las directrices publicadas por la Asociación Estadounidense de Psicología (APA). [3] Esto conduce a varias desventajas: solo puede detectar resultados reportados completamente y exactamente de acuerdo con las pautas de la APA, [4] y no puede detectar estadísticas que solo se incluyen en tablas en el documento. [5] Otra limitación es que Statcheck no puede manejar correcciones estadísticas para probar estadísticas, como las correcciones de Greenhouse-Geisser o Bonferroni, que en realidad hacen que las pruebas sean más conservadoras. [6] Algunas revistas han comenzado a poner a prueba Statcheck como parte de su proceso de revisión por pares . Statcheck es un software gratuito publicado bajo GNU GPL v3. [7]
En 2017, los desarrolladores de Statcheck publicaron un artículo preimpreso en el que concluyeron que el programa identificó con precisión errores estadísticos en más del 95% de las veces. [8] Este estudio de validez comprendió más de 1.000 pruebas comprobadas manualmente, de las cuales el 5,00% resultó ser inconsistente. [9] El estudio encontró que Statcheck reconoció el 60% de todas las pruebas estadísticas. Un nuevo análisis de estos datos encontró que si el programa marcaba una prueba como inconsistente, era correcta en el 60,4% de los casos. A la inversa, si una prueba era realmente inconsistente, Statcheck la marcaba en aproximadamente el 51,8% de los casos (esta estimación incluía las pruebas no detectadas y suponía que tenían la misma tasa de inconsistencias que las pruebas detectadas). En general, la precisión de Statcheck fue del 95,9%, medio punto porcentual más que el nivel de probabilidad del 95,4% esperado cuando todas las pruebas se toman simplemente al pie de la letra. Statcheck tenía un sesgo conservador (aproximadamente una desviación estándar) en contra de las pruebas de señalización. [10]
Investigaciones más recientes han utilizado Statcheck en artículos publicados en revistas canadienses de psicología, encontrando tasas similares de errores en informes estadísticos que los autores originales basándose en una muestra de 30 años de dichos artículos. El mismo estudio también encontró muchos errores tipográficos en versiones en línea de artículos relativamente antiguos, y que corregirlos redujo el porcentaje estimado de pruebas que se informaron erróneamente. [11]
Statcheck fue desarrollado por primera vez en 2015 por Michele Nuijten de la Universidad de Tilburg y Sacha Epskamp de la Universidad de Amsterdam . [12] [8] Más tarde ese año, Nuijten y sus colegas publicaron un artículo utilizando Statcheck en más de 30.000 artículos de psicología e informaron que "la mitad de todos los artículos de psicología publicados [...] contenían al menos un valor p que era inconsistente con su prueba". [13] El estudio fue posteriormente reseñado favorablemente en Nature . [14] [15] En 2016, Nuijten y Epskamp recibieron el Premio Leamer-Rosenthal de Ciencias Sociales Abiertas de la Iniciativa de Berkeley para la Transparencia en las Ciencias Sociales por crear Statcheck. [dieciséis]
En 2016, Chris Hartgerink, investigador de la Universidad de Tilburg, utilizó Statcheck para escanear más de 50.000 artículos de psicología y publicó los resultados en PubPeer ; Posteriormente publicó los datos que extrajo de estos artículos en un artículo en la revista Data . [14] [17] Hartgerink le dijo a Placa base que "Estamos comprobando qué tan confiable es la ciencia real que presenta la ciencia". [18] También le dijo a Vox que tenía la intención de utilizar Statcheck para realizar una función similar a un programa de software de revisión ortográfica . [12] La acción de Hartgerink también envió alertas por correo electrónico a cada investigador que había sido autor o coautor de un artículo que había marcado. Estas advertencias y su publicación en un foro público resultaron controvertidas, lo que llevó a la Sociedad Alemana de Psicología a emitir una declaración condenando este uso de Statcheck. [14] La psicóloga Dorothy VM Bishop , que tenía dos de sus propios artículos marcados por Statcheck, criticó el programa por marcar públicamente muchos artículos (incluido uno propio) a pesar de no haber encontrado ningún error estadístico en ellos. [19] Otros críticos alegaron que Statcheck había informado la presencia de errores en artículos que en realidad no los contenían, debido a que la herramienta no leía correctamente las estadísticas de ciertos artículos. [20]
Las revistas que han comenzado a probar el uso de Statcheck como parte de su proceso de revisión por pares incluyen Psychological Science , [21] Canadian Journal of Human Sexuality , [22] y Journal of Experimental Social Psychology . [23] La editorial de acceso abierto PsychOpen también lo ha utilizado en todos los artículos aceptados para publicación en sus revistas desde 2017. [24]
{{cite book}}: |website=ignorado ( ayuda )