La metaciencia (también conocida como metainvestigación ) es el uso de la metodología científica para estudiar la ciencia en sí. La metaciencia busca aumentar la calidad de la investigación científica al tiempo que reduce la ineficiencia . También se la conoce como "investigación sobre la investigación" y "la ciencia de la ciencia", ya que utiliza métodos de investigación para estudiar cómo se realiza la investigación y encontrar dónde se pueden realizar mejoras. La metaciencia se ocupa de todos los campos de investigación y ha sido descrita como "una vista aérea de la ciencia". [1] En palabras de John Ioannidis , "La ciencia es lo mejor que le ha pasado al ser humano ... pero podemos hacerlo mejor". [2]
En 1966, un artículo de metainvestigación temprana examinó los métodos estadísticos de 295 artículos publicados en diez revistas médicas de alto perfil. Encontró que "en casi el 73% de los informes leídos ... se extrajeron conclusiones cuando la justificación de estas conclusiones no era válida". La metainvestigación en las décadas siguientes encontró muchos fallos metodológicos, ineficiencias y malas prácticas en la investigación en numerosos campos científicos. Muchos estudios científicos no pudieron reproducirse , particularmente en medicina y las ciencias blandas . El término " crisis de replicación " fue acuñado a principios de la década de 2010 como parte de una creciente conciencia del problema. [3]
Se han implementado medidas para abordar los problemas revelados por la metaciencia. Estas medidas incluyen el registro previo de estudios científicos y ensayos clínicos , así como la fundación de organizaciones como CONSORT y la Red EQUATOR que emiten pautas para la metodología y la presentación de informes. Hay esfuerzos continuos para reducir el uso indebido de las estadísticas , eliminar los incentivos perversos de la academia, mejorar el proceso de revisión por pares , recopilar sistemáticamente datos sobre el sistema de publicación académica, [4] combatir el sesgo en la literatura científica y aumentar la calidad y la eficiencia generales del proceso científico. Como tal, la metaciencia es una gran parte de los métodos que sustentan el Movimiento de Ciencia Abierta .
_Why_Most_Published_Research_Findings_Are_False.pdf/page1-1280px-Ioannidis_(2005)_Why_Most_Published_Research_Findings_Are_False.pdf.jpg)
En 1966, un artículo de metainvestigación temprana examinó los métodos estadísticos de 295 artículos publicados en diez revistas médicas de alto perfil. Encontró que, "en casi el 73% de los informes leídos ... se extrajeron conclusiones cuando la justificación de estas conclusiones no era válida". [6] Un artículo de 1976 pidió financiación para la metainvestigación: "Debido a que la naturaleza misma de la investigación sobre la investigación, particularmente si es prospectiva, requiere largos períodos de tiempo, recomendamos que se establezcan grupos independientes, altamente competentes, con un amplio apoyo a largo plazo para realizar y apoyar la investigación retrospectiva y prospectiva sobre la naturaleza del descubrimiento científico". [7] En 2005, John Ioannidis publicó un artículo titulado " Por qué la mayoría de los hallazgos de investigación publicados son falsos ", que sostenía que la mayoría de los artículos en el campo médico producen conclusiones que son erróneas. [5] El artículo se convirtió en el artículo más descargado en la Biblioteca Pública de Ciencias [8] [9] y se considera fundamental para el campo de la metaciencia. [10] En un estudio relacionado con Jeremy Howick y Despina Koletsi, Ioannidis demostró que sólo una minoría de las intervenciones médicas están respaldadas por evidencia de "alta calidad" según el enfoque GRADE (Grading of Recommendations Assessment, Development and Evaluation) . [11] Una metainvestigación posterior identificó una dificultad generalizada para replicar los resultados en muchos campos científicos, incluida la psicología y la medicina . Este problema se denominó " la crisis de la replicación ". La metaciencia ha surgido como una reacción a la crisis de la replicación y a las preocupaciones sobre el desperdicio en la investigación. [12]
Muchas editoriales importantes están interesadas en la metainvestigación y en mejorar la calidad de sus publicaciones. Revistas de primer nivel como Science , The Lancet y Nature brindan una cobertura continua de la metainvestigación y los problemas de reproducibilidad. [13] En 2012, PLOS ONE lanzó una Iniciativa de Reproducibilidad. En 2015, Biomed Central introdujo una lista de verificación de estándares mínimos de informes para cuatro títulos.
La primera conferencia internacional en el amplio campo de la metainvestigación fue la conferencia Research Waste/ EQUATOR celebrada en Edimburgo en 2015; la primera conferencia internacional sobre revisión por pares fue el Peer Review Congress celebrado en 1989. [14] En 2016, se lanzó Research Integrity and Peer Review . El editorial de apertura de la revista pedía "investigaciones que aumenten nuestra comprensión y sugieran posibles soluciones a cuestiones relacionadas con la revisión por pares, la presentación de informes de estudios y la ética de la investigación y la publicación". [15]
La metaciencia se puede clasificar en cinco grandes áreas de interés: métodos, informes, reproducibilidad, evaluación e incentivos. Estas corresponden, respectivamente, a cómo realizar, comunicar, verificar, evaluar y recompensar la investigación. [1]
La metaciencia busca identificar malas prácticas de investigación, incluyendo sesgos en la investigación, mal diseño de estudios, abuso de estadísticas , y encontrar métodos para reducir estas prácticas. [1] La metainvestigación ha identificado numerosos sesgos en la literatura científica. [16] De particular interés es el mal uso generalizado de los valores p y el abuso de la significación estadística . [17]
La ciencia de datos científicos es el uso de la ciencia de datos para analizar artículos de investigación. Abarca métodos tanto cualitativos como cuantitativos . La investigación en ciencia de datos científicos incluye la detección de fraudes [18] y el análisis de redes de citas . [19]
La periodología, también conocida como ciencia de la publicación, es el estudio académico de todos los aspectos del proceso de publicación académica . [20] [21] El campo busca mejorar la calidad de la investigación académica mediante la implementación de prácticas basadas en evidencia en la publicación académica. [22] El término "periodología" fue acuñado por Stephen Lock , ex editor en jefe de The BMJ . El primer Congreso de Revisión por Pares, celebrado en 1989 en Chicago , Illinois , se considera un momento crucial en la fundación de la periodología como un campo distinto. [22] El campo de la periodología ha sido influyente en impulsar el prerregistro de estudios en ciencia, particularmente en ensayos clínicos . Ahora se espera el registro de ensayos clínicos en la mayoría de los países. [22]
La metainvestigación ha identificado prácticas deficientes en la presentación de informes, explicación, difusión y popularización de las investigaciones, en particular en las ciencias sociales y de la salud. La presentación de informes deficiente dificulta la interpretación precisa de los resultados de los estudios científicos, la reproducción de estudios y la identificación de sesgos y conflictos de intereses en los autores. Las soluciones incluyen la implementación de estándares de presentación de informes y una mayor transparencia en los estudios científicos (incluidos mejores requisitos para la divulgación de conflictos de intereses). Existe un intento de estandarizar la presentación de informes de datos y la metodología mediante la creación de directrices por parte de agencias de presentación de informes como CONSORT y la red más amplia EQUATOR . [1]
La crisis de replicación es una crisis metodológica en curso en la que se ha descubierto que muchos estudios científicos son difíciles o imposibles de replicar . [23] [24] Si bien la crisis tiene sus raíces en la metainvestigación de mediados y fines del siglo XX, la frase "crisis de replicación" no se acuñó hasta principios de la década de 2010 [25] como parte de una creciente conciencia del problema. [1] La crisis de replicación se ha estudiado de cerca en psicología (especialmente psicología social ) y medicina , [26] [27] incluida la investigación del cáncer. [28] [29] La replicación es una parte esencial del proceso científico, y el fracaso generalizado de la replicación pone en duda la confiabilidad de los campos afectados. [30]
Además, la replicación de una investigación (o la falta de replicación) se considera menos influyente que la investigación original y es menos probable que se publique en muchos campos, lo que desalienta la divulgación de estudios e incluso los intentos de replicarlos. [31] [32]
La metaciencia busca crear una base científica para la revisión por pares. La metainvestigación evalúa los sistemas de revisión por pares , incluida la revisión por pares previa a la publicación , la revisión por pares posterior a la publicación y la revisión por pares abierta . También busca desarrollar mejores criterios de financiación de la investigación. [1]
La metaciencia busca promover una mejor investigación a través de mejores sistemas de incentivos. Esto incluye estudiar la precisión, la eficacia, los costos y los beneficios de diferentes enfoques para clasificar y evaluar la investigación y a quienes la realizan. [1] Los críticos argumentan que los incentivos perversos han creado un entorno de "publicar o morir" en el ámbito académico que promueve la producción de ciencia basura , investigación de baja calidad y falsos positivos . [33] [34] Según Brian Nosek , "el problema al que nos enfrentamos es que el sistema de incentivos se centra casi exclusivamente en publicar la investigación, en lugar de hacerlo bien". [35] Los defensores de la reforma buscan estructurar el sistema de incentivos para favorecer resultados de mayor calidad. [36] Por ejemplo, juzgando la calidad sobre la base de evaluaciones narrativas de expertos ("en lugar de [solo o principalmente] índices"), criterios de evaluación institucional, garantía de transparencia y estándares profesionales. [37]
Los estudios propusieron estándares legibles por máquina y (una taxonomía de) insignias para los sistemas de gestión de publicaciones científicas que se centran en la contribución –quién ha contribuido con qué y cuánto del trabajo de investigación– en lugar de utilizar el concepto tradicional de autoría simple –quién estuvo involucrado de alguna manera en la creación de una publicación–. [38] [39] [40] [41] Un estudio señaló uno de los problemas asociados con el continuo descuido de la matización de la contribución: encontró que "el número de publicaciones ha dejado de ser una buena métrica como resultado de listas de autores más largas, artículos más cortos y números de publicaciones en aumento". [42]
Otros factores, además de los méritos de una propuesta, pueden influir sustancialmente en las evaluaciones de los revisores pares. [43] Sin embargo, dichos factores también pueden ser importantes, como el uso de antecedentes sobre la veracidad de las publicaciones anteriores de un investigador y su adecuación a los intereses públicos. No obstante, los sistemas de evaluación (incluidos los de revisión por pares) pueden carecer sustancialmente de mecanismos y criterios que estén orientados o que estén orientados de manera eficaz hacia el mérito, el impacto positivo en el mundo real, el progreso y la utilidad pública, en lugar de hacia indicadores analíticos como el número de citas o las altmétricas, incluso cuando estos pueden usarse como indicadores parciales de tales fines. [44] [45] Repensar la estructura de recompensa académica "para ofrecer un reconocimiento más formal a los productos intermedios, como los datos" podría tener impactos positivos y reducir la retención de datos. [46]
Un comentario señaló que las clasificaciones académicas no tienen en cuenta dónde (país e instituto) se formaron los respectivos investigadores. [47]
La cienciometría se ocupa de medir los datos bibliográficos en las publicaciones científicas. Entre los principales temas de investigación se encuentran la medición del impacto de los artículos de investigación y las revistas académicas, la comprensión de las citas científicas y el uso de dichas mediciones en contextos de políticas y gestión. [48] Los estudios sugieren que "las métricas utilizadas para medir el éxito académico, como el número de publicaciones, el número de citas y el factor de impacto, no han cambiado durante décadas" y, en cierta medida, han "dejado" de ser buenas medidas, [42] lo que ha dado lugar a problemas como "sobreproducción, fragmentaciones innecesarias, sobreventa, revistas depredadoras (pagar y publicar), plagio inteligente y ofuscación deliberada de los resultados científicos con el fin de vender y sobrevender". [49]
Las nuevas herramientas en esta área incluyen sistemas para cuantificar cuánto informa el nodo citado al nodo que cita. [50] Esto se puede utilizar para convertir redes de citas no ponderadas en una ponderada y luego para la evaluación de importancia , derivando "métricas de impacto para las diversas entidades involucradas, como las publicaciones, los autores, etc." [51] así como, entre otras herramientas, para los sistemas de motores de búsqueda y de recomendación .
La financiación y la gobernanza científica también pueden ser exploradas e informadas por la metaciencia. [52]
Diversas intervenciones, como la priorización, pueden ser importantes.Por ejemplo, el concepto de desarrollo tecnológico diferencial se refiere al desarrollo deliberado de tecnologías (por ejemplo, tecnologías de control, seguridad y políticas versus biotecnologías riesgosas ) a diferentes ritmos de precaución para disminuir los riesgos, principalmente el riesgo catastrófico global , influyendo en la secuencia en la que se desarrollan las tecnologías. [53] [54] Confiar únicamente en la forma establecida de legislación e incentivos para garantizar los resultados correctos puede no ser adecuado, ya que estos a menudo pueden ser demasiado lentos [55] o inadecuados.
Otros incentivos para gobernar la ciencia y los procesos relacionados, incluso a través de reformas basadas en la metaciencia, pueden incluir la garantía de la rendición de cuentas al público (en términos, por ejemplo, de la accesibilidad de la investigación, especialmente la financiada con fondos públicos, o de que esta aborde diversos temas de investigación de interés público de manera seria), el aumento de la fuerza laboral científica productiva y calificada, la mejora de la eficiencia de la ciencia para mejorar la resolución de problemas en general y la facilitación de que se prioricen y aborden adecuadamente las necesidades sociales inequívocas basadas en evidencia científica sólida (como las relacionadas con la fisiología humana). Tales intervenciones, incentivos y diseños de intervención pueden ser temas de metaciencia.
Los premios científicos son una categoría de incentivos científicos. Metascience puede explorar sistemas existentes e hipotéticos de premios científicos. Por ejemplo, descubrió que el trabajo galardonado con premios Nobel se agrupa en solo unos pocos campos científicos , y solo 36/71 han recibido al menos un premio Nobel de los 114/849 dominios en los que se podría dividir la ciencia según sus sistemas de clasificación DC2 y DC3. Se demostró que cinco de los 114 dominios representan más de la mitad de los premios Nobel otorgados entre 1995 y 2017 (física de partículas [14%], biología celular [12,1%], física atómica [10,9%], neurociencia [10,1%], química molecular [5,3%]). [57] [58]
Un estudio concluyó que la delegación de responsabilidad por parte de los responsables de las políticas –un enfoque de arriba hacia abajo basado en la autoridad centralizada– para la producción de conocimiento y la financiación adecuada a la ciencia, para que la ciencia posteriormente entregue de algún modo “conocimiento confiable y útil a la sociedad” es demasiado simple. [52]
Las mediciones muestran que la asignación de recursos biomédicos puede estar más fuertemente correlacionada con asignaciones e investigaciones previas que con la carga de enfermedades . [59]
Un estudio sugiere que “si la revisión por pares se mantiene como el mecanismo principal de arbitraje en la selección competitiva de informes de investigación y financiación, entonces la comunidad científica debe asegurarse de que no sea arbitraria”. [43]
Los estudios indican que es necesario "reconsiderar cómo medimos el éxito" ( ). [42]
La información de financiación de las bases de datos de subvenciones y las secciones de reconocimiento de financiación pueden ser fuentes de datos para estudios de cienciometría, por ejemplo, para investigar o reconocer el impacto de las entidades de financiación en el desarrollo de la ciencia y la tecnología. [60]
Se ha argumentado que "la ciencia tiene dos atributos fundamentales que sustentan su valor como bien público global: que las afirmaciones de conocimiento y la evidencia en la que se basan se ponen abiertamente a disposición del escrutinio, y que los resultados de la investigación científica se comunican con prontitud y eficiencia". [61] La investigación metacientífica explora temas de comunicación científica como la cobertura mediática de la ciencia , el periodismo científico y la comunicación en línea de resultados por parte de educadores científicos y científicos. [62] [63] [64] [65] Un estudio encontró que el "principal incentivo que se ofrece a los académicos para usar las redes sociales es la amplificación" y que debería "avanzar hacia una cultura institucional que se centre más en cómo estas [o tales] plataformas pueden facilitar un compromiso real con la investigación". [66] La comunicación científica también puede implicar la comunicación de las necesidades, preocupaciones y solicitudes de la sociedad a los científicos.
Las herramientas de métricas alternativas se pueden utilizar no solo para ayudar en la evaluación (rendimiento e impacto) [59] y la facilidad de búsqueda, sino también para agregar muchas de las discusiones públicas sobre un artículo científico en las redes sociales como reddit , citas en Wikipedia e informes sobre el estudio en los medios de comunicación que luego pueden analizarse a su vez en metaciencia o proporcionarse y usarse por herramientas relacionadas. [67] En términos de evaluación y facilidad de búsqueda, las altmétricas califican el rendimiento o el impacto de las publicaciones por las interacciones que reciben a través de las redes sociales u otras plataformas en línea, [68] que pueden usarse, por ejemplo, para ordenar estudios recientes por impacto medido, incluso antes de que otros estudios los citen. Los procedimientos específicos de las altmétricas establecidas no son transparentes [68] y los algoritmos utilizados no pueden ser personalizados o alterados por el usuario como puede hacerlo el software de código abierto. Un estudio ha descrito varias limitaciones de las altmétricas y apunta "hacia vías para la investigación y el desarrollo continuos". [69] También están limitadas en su uso como herramienta principal para que los investigadores encuentren comentarios constructivos recibidos.
Se ha sugerido que la ciencia podría beneficiarse si "el intercambio intelectual —particularmente respecto de las implicaciones sociales y las aplicaciones de la ciencia y la tecnología— se valorara e incentivara mejor en el futuro". [59]
Los estudios primarios "sin contexto, comparación o resumen son en última instancia de valor limitado" y varios tipos [ cita(s) adicional(es) necesaria(s) ] de síntesis y resúmenes de investigación integran los estudios primarios. [70] El progreso en los desafíos socioecológicos clave de la agenda ambiental global se ve "obstaculizado por una falta de integración y síntesis de la evidencia científica existente", con un "volumen de datos en rápido aumento", información compartimentada y desafíos de síntesis de evidencia generalmente insatisfechos. [71] Según Khalil, los investigadores se enfrentan al problema de demasiados artículos (por ejemplo, en marzo de 2014 se enviaron más de 8000 artículos a arXiv ) y para "mantenerse al día con la enorme cantidad de literatura, los investigadores utilizan software de gestión de referencias, hacen resúmenes y notas , y se basan en artículos de revisión para proporcionar una descripción general de un tema en particular". Señala que los artículos de revisión suelen ser (sólo) "para temas en los que ya se han escrito muchos artículos y pueden quedar obsoletos rápidamente" y sugiere "artículos de revisión wiki" que se actualizan continuamente con nuevos estudios sobre un tema y resumen los resultados de muchos estudios y sugieren investigaciones futuras. [72] Un estudio sugiere que si se cita una publicación científica en un artículo de Wikipedia, esto podría considerarse potencialmente como un indicador de algún tipo de impacto para esta publicación, [68] por ejemplo, ya que esto puede, con el tiempo, indicar que la referencia ha contribuido a un alto nivel de resumen del tema en cuestión.
Los periodistas científicos desempeñan un papel importante en el ecosistema científico y en la comunicación científica al público y necesitan "saber cómo utilizar la información relevante al decidir si confiar en un resultado de investigación y si informar sobre él y cómo hacerlo", examinando los resultados que se transmiten al público. [73]
Algunos estudios investigan la educación científica , por ejemplo, la enseñanza sobre controversias científicas seleccionadas [74] y el proceso histórico de descubrimiento de conclusiones científicas importantes, [75] y conceptos científicos erróneos comunes . [76] La educación también puede ser un tema más general, como cómo mejorar la calidad de los resultados científicos y reducir el tiempo necesario antes del trabajo científico o cómo ampliar y retener diversas fuerzas de trabajo científicas.
Muchos estudiantes tienen conceptos erróneos sobre qué es la ciencia y cómo funciona. [77] Las actitudes y creencias anticientíficas también son un tema de investigación. [78] [79] Hotez sugiere que la anticiencia "ha surgido como una fuerza dominante y altamente letal, y que amenaza la seguridad global", y que existe la necesidad de una "nueva infraestructura" que la mitigue. [80]
La metaciencia puede investigar cómo evolucionan los procesos científicos a lo largo del tiempo. Un estudio descubrió que los equipos están creciendo en tamaño, "aumentando un promedio del 17% por década". [59] ( )
Se ha descubierto que las formas predominantes de publicación sin acceso abierto y los precios que se cobran por muchas revistas convencionales –incluso por artículos financiados con fondos públicos– son injustificadas, innecesarias –o subóptimas– y constituyen barreras perjudiciales para el progreso científico. [61] [83] [84] [85] El acceso abierto puede ahorrar cantidades considerables de recursos financieros, que podrían utilizarse de otra manera, y nivelar el campo de juego para los investigadores en los países en desarrollo. [86] Hay gastos sustanciales por suscripciones, acceso a estudios específicos y cargos por procesamiento de artículos . Paywall: The Business of Scholarship es un documental sobre estos temas. [87]
Otro tema son los estilos establecidos de comunicación científica (por ejemplo, estudios y revisiones en formato de texto largo) y las prácticas de publicación científica : existen preocupaciones sobre un "ritmo glacial" de la publicación convencional. [88] El uso de servidores de preimpresión para publicar borradores de estudios de manera temprana está aumentando y la revisión por pares abierta , [89] nuevas herramientas para filtrar estudios, [90] y una mejor correspondencia de los manuscritos enviados con los revisores [91] se encuentran entre las propuestas para acelerar la publicación.
.png/1280px-Academic_papers_by_discipline_(visualization_of_2012%E2%80%932021_OpenAlex_data;_v2).png)
.png/1280px-Change_of_number_of_scientific_papers_by_field_(visualization_of_2012%E2%80%932021_OpenAlex_data).png)
Los estudios tienen varios tipos de metadatos que pueden utilizarse, complementarse y hacerse accesibles de maneras útiles. OpenAlex es un índice gratuito en línea de más de 200 millones de documentos científicos que integra y proporciona metadatos como fuentes, citas , información de autores , campos científicos y temas de investigación . Su API y sitio web de código abierto pueden usarse para metaciencia, cienciometría y herramientas novedosas que consultan esta red semántica de artículos . [93] [94] [95] Otro proyecto en desarrollo, Scholia, utiliza metadatos de publicaciones científicas para diversas visualizaciones y funciones de agregación, como proporcionar una interfaz de usuario simple que resuma la literatura sobre una característica específica del virus SARS-CoV-2 utilizando la propiedad "tema principal" de Wikidata . [96]
Más allá de los metadatos asignados explícitamente a los estudios por humanos, el procesamiento del lenguaje natural y la IA se pueden utilizar para asignar publicaciones de investigación a temas : un estudio que investigó el impacto de los premios científicos utilizó este tipo de información para asociar el texto de un artículo (no solo palabras clave) con el contenido lingüístico de las páginas de temas científicos de Wikipedia ("las páginas son creadas y actualizadas por científicos y usuarios a través del crowdsourcing"), creando clasificaciones significativas y plausibles de temas científicos de alta fidelidad para un mayor análisis o navegabilidad. [97]
.png/1280px-Decline_of_disruptive_science_and_technology_(based_on_the_CD_index).png)
La investigación en metaciencias investiga el crecimiento de la ciencia en general, utilizando, por ejemplo, datos sobre el número de publicaciones en bases de datos bibliográficas . Un estudio descubrió que los segmentos con diferentes tasas de crecimiento parecen estar relacionados con fases de "desarrollos económicos (por ejemplo, industrialización)" (el dinero se considera un insumo necesario para el sistema científico) "y/o políticos (por ejemplo, la Segunda Guerra Mundial)". También confirmó un crecimiento exponencial reciente en el volumen de literatura científica y calculó un período de duplicación promedio de 17,3 años. [99]
Sin embargo, otros han señalado que es difícil medir el progreso científico de manera significativa, en parte porque es difícil evaluar con precisión la importancia de un descubrimiento científico determinado. En libros y artículos se han descrito diversas perspectivas de las trayectorias de la ciencia en general (impacto, número de descubrimientos importantes, etc.), entre ellas que la ciencia se está volviendo más difícil (por dólar u hora invertida), que si la ciencia "se está desacelerando hoy es porque se ha centrado demasiado en campos establecidos", que los artículos y las patentes tienen cada vez menos probabilidades de ser "disruptivos" en términos de romper con el pasado, según se mide por el "índice CD", [81] y que hay un gran estancamiento -posiblemente como parte de una tendencia más amplia [100] - por el cual, por ejemplo, "las cosas no han cambiado tanto desde los años 70" si se excluyen las computadoras e Internet.
Una mejor comprensión de las posibles desaceleraciones según algunas medidas podría ser una gran oportunidad para mejorar el futuro de la humanidad. [101] Por ejemplo, el énfasis en las citas en la medición de la productividad científica, las sobrecargas de información, [100] la confianza en un conjunto más estrecho de conocimientos existentes (que puede incluir una especialización estrecha y prácticas contemporáneas relacionadas) basadas en tres indicadores de "uso de conocimientos previos" , [81] y las estructuras de financiación que evitan el riesgo [102] pueden haber "orientado hacia la ciencia incremental y alejado de los proyectos exploratorios que tienen más probabilidades de fracasar". [103] El estudio que introdujo el "índice CD" sugiere que el número total de artículos ha aumentado mientras que el total de artículos "altamente disruptivos" medidos por el índice no lo ha hecho (en particular, el descubrimiento de 1998 de la expansión acelerada del universo tiene un índice CD de 0). Sus resultados también sugieren que los científicos e inventores "pueden estar luchando por seguir el ritmo de la expansión del conocimiento". [104] [81]
Se han propuesto diversas formas de medir la "novedad" de los estudios, métricas de novedad, [103] para equilibrar un posible sesgo antinovedad, como el análisis textual [103] o la medición de si se realizan combinaciones por primera vez de revistas referenciadas, teniendo en cuenta la dificultad. [105] Otros enfoques incluyen la financiación proactiva de proyectos riesgosos. [59]
Los mapas científicos podrían mostrar los principales temas interrelacionados dentro de un determinado dominio científico, su cambio a lo largo del tiempo y sus actores clave (investigadores, instituciones, revistas). Pueden ayudar a encontrar factores que determinen el surgimiento de nuevos campos científicos y el desarrollo de áreas interdisciplinarias y podrían ser relevantes para propósitos de política científica. [106] Las teorías del cambio científico podrían guiar "la exploración e interpretación de estructuras intelectuales visualizadas y patrones dinámicos". [107] Los mapas pueden mostrar la estructura intelectual, social o conceptual de un campo de investigación. [108] Más allá de los mapas visuales, los estudios basados en encuestas de expertos y enfoques similares podrían identificar áreas socialmente importantes poco estudiadas o desatendidas, problemas a nivel de temas (como el estigma o el dogma) o posibles priorizaciones erróneas. [ cita(s) adicional(es) necesaria(s) ] Ejemplos de ello son los estudios sobre políticas en relación con la salud pública [109] y la ciencia social de la mitigación del cambio climático [110] donde se ha estimado que sólo el 0,12% de todo el financiamiento para la investigación relacionada con el clima se gasta en ello a pesar de que el problema más urgente en la coyuntura actual es resolver cómo mitigar el cambio climático, mientras que la ciencia natural del cambio climático ya está bien establecida. [110]
También hay estudios que mapean un campo científico o un tema como el estudio del uso de evidencia de investigación en políticas y prácticas , en parte utilizando encuestas . [111]
Algunas investigaciones investigan la controversia o controversias científicas y pueden identificar debates importantes actualmente en curso (por ejemplo, preguntas abiertas) y desacuerdos entre científicos o estudios. [ cita(s) adicional(es) necesaria (s )] Un estudio sugiere que el nivel de desacuerdo fue más alto en las ciencias sociales y las humanidades (0,61%), seguido de las ciencias biomédicas y de la salud (0,41%), las ciencias de la vida y de la tierra (0,29%); las ciencias físicas y la ingeniería (0,15%) y las matemáticas y la informática (0,06%). [112] Dicha investigación también puede mostrar dónde están los desacuerdos, especialmente si se agrupan, incluso de forma visual, como con los diagramas de grupos.
Los estudios sobre una pregunta o tema de investigación específicos suelen revisarse en forma de resúmenes de alto nivel en los que se integran, comparan, analizan críticamente e interpretan los resultados de varios estudios. Ejemplos de tales trabajos son las revisiones científicas y los metaanálisis . Estas y otras prácticas relacionadas enfrentan diversos desafíos y son un tema de metaciencia.
Diversos problemas con los estudios incluidos o disponibles, como por ejemplo la heterogeneidad de los métodos utilizados, pueden llevar a conclusiones erróneas del metanálisis. [113]
Diversos problemas exigen una rápida integración de conocimientos científicos nuevos y existentes. En particular, los entornos en los que hay un gran número de proyectos e iniciativas vagamente relacionados se benefician de una base común o "bienes comunes". [96]
La síntesis de evidencias se puede aplicar a desafíos globales importantes y, en particular, relativamente urgentes y ciertos : " cambio climático , transiciones energéticas, pérdida de biodiversidad, resistencia a los antimicrobianos , erradicación de la pobreza, etc." Se sugirió que un mejor sistema mantendría actualizados los resúmenes de la evidencia de investigación a través de revisiones sistemáticas vivas, por ejemplo, como documentos vivos . Si bien el número de artículos científicos y datos (o información y conocimiento en línea) ha aumentado sustancialmente , [ cita(s) adicional(es) necesaria(s) ] el número de revisiones sistemáticas académicas publicadas ha aumentado de "alrededor de 6.000 en 2011 a más de 45.000 en 2021". [114] Un enfoque basado en la evidencia es importante para el progreso en la ciencia, la política , la medicina y otras prácticas. Por ejemplo, los metanálisis pueden cuantificar lo que se sabe e identificar lo que aún no se sabe [70] y colocar "ideas verdaderamente innovadoras y altamente interdisciplinarias " en el contexto del conocimiento establecido que puede mejorar su impacto. [59]
Se ha planteado la hipótesis de que una comprensión más profunda de los factores que explican el éxito de la ciencia podría "mejorar las perspectivas de la ciencia en su conjunto para abordar de manera más eficaz los problemas sociales". [59]
Dos metacientíficos informaron que las "estructuras que fomentan la investigación disruptiva y centran la atención en ideas novedosas " podrían ser importantes, ya que en un campo científico en crecimiento los flujos de citas se consolidan desproporcionadamente en artículos ya muy citados, posiblemente desacelerando e inhibiendo el progreso canónico . [115] [116] Un estudio concluyó que para mejorar el impacto de las ideas novedosas verdaderamente innovadoras y altamente interdisciplinarias, deben ubicarse en el contexto del conocimiento establecido. [59]
Otros investigadores informaron que los protegidos más exitosos –en términos de “probabilidad de ganar un premio , ser incluidos en la Academia Nacional de Ciencias (NAS) o convertirse en superestrellas”– estudiaron con mentores que publicaron investigaciones por las que recibieron un premio después de la tutoría de los protegidos. Estudiar temas originales en lugar de los temas de investigación de estos mentores también se asoció positivamente con el éxito. [117] [118] Las asociaciones altamente productivas también son un tema de investigación –por ejemplo, los “supervínculos” de coautoría frecuente de dos individuos que pueden complementar habilidades, probablemente también el resultado de otros factores como la confianza mutua, la convicción, el compromiso y la diversión. [119] [59]
El surgimiento u origen de ideas por parte de científicos exitosos también es un tema de investigación, por ejemplo revisando las ideas existentes sobre cómo Mendel hizo sus descubrimientos , [120] – o más generalmente, el proceso de descubrimiento por parte de los científicos. La ciencia es un “proceso multifacético de apropiación, copia , extensión o combinación de ideas e invenciones ” [y otros tipos de conocimiento o información], y no un proceso aislado. [59] También hay pocos estudios que investiguen los hábitos de los científicos, los modos comunes de pensamiento, los hábitos de lectura, el uso de fuentes de información, las habilidades de alfabetización digital y los flujos de trabajo . [121] [122] [123] [124] [125]
Un estudio planteó la teoría de que, en muchas disciplinas, la mayor productividad científica o el mayor éxito de las universidades de élite se puede explicar por su mayor cantidad de trabajadores financiados disponibles. [126] [127] El estudio encontró que el prestigio universitario solo se asociaba con una mayor productividad para los profesores con miembros del grupo, no para las publicaciones de los profesores por sí solos o los propios miembros del grupo. Esto se presenta como evidencia de que la productividad descomunal de los investigadores de élite no se debe a una selección más rigurosa de talentos por parte de las mejores universidades, sino a las ventajas laborales acumuladas a través de un mayor acceso a la financiación y la atracción de prestigio para los investigadores de posgrado y posdoctorado.
El éxito en la ciencia (como se indica en los procesos de revisión de la titularidad) se mide a menudo en términos de métricas como las citas, no en términos del impacto eventual o potencial en las vidas y la sociedad, [128] que a veces hacen los premios . Los problemas con tales métricas se describen a grandes rasgos en otras partes de este artículo e incluyen que las revisiones reemplazan las citas a los estudios primarios. [70] También hay propuestas de cambios en los sistemas de incentivos académicos que aumentan el reconocimiento del impacto social en el proceso de investigación. [129]
Un campo propuesto de “estudios de progreso” podría investigar cómo deberían actuar los científicos (o los financiadores o evaluadores de científicos), “descifrar intervenciones” y estudiar el progreso en sí. [130] El campo fue propuesto explícitamente en un ensayo de 2019 y descrito como una ciencia aplicada que prescribe acciones. [131]
Un estudio sugiere que mejorar la forma en que se hace ciencia podría acelerar la tasa de descubrimiento científico y sus aplicaciones, lo que podría ser útil para encontrar soluciones urgentes a los problemas de la humanidad, mejorar las condiciones de la humanidad y aumentar la comprensión de la naturaleza. Los estudios metacientíficos pueden tratar de identificar aspectos de la ciencia que necesitan mejoras y desarrollar formas de mejorarlos. [72] Si la ciencia se acepta como el motor fundamental del crecimiento económico y el progreso social, esto podría plantear "la pregunta de qué podemos hacer nosotros, como sociedad, para acelerar la ciencia y dirigir la ciencia hacia la solución de los problemas más importantes de la sociedad". [132] Sin embargo, uno de los autores aclaró que no se cree que un enfoque único sea la respuesta correcta; por ejemplo, en materia de financiación, los modelos de DARPA, los métodos impulsados por la curiosidad, permitir que "un solo revisor defienda un proyecto incluso si sus pares no están de acuerdo", y varios otros enfoques tienen todos sus usos. No obstante, la evaluación de ellos puede ayudar a generar conocimiento sobre lo que funciona o funciona mejor. [102]
La metainvestigación que identifica las fallas en la práctica científica ha inspirado reformas en la ciencia. Estas reformas buscan abordar y solucionar los problemas en la práctica científica que conducen a una investigación de baja calidad o ineficiente.
Un estudio de 2015 enumera esfuerzos “fragmentados” en metainvestigación. [1]
La práctica de registrar un estudio científico antes de que se realice se denomina prerregistro . Surgió como un medio para abordar la crisis de replicación . El prerregistro requiere la presentación de un informe registrado, que luego es aceptado para su publicación o rechazado por una revista en función de la justificación teórica, el diseño experimental y el análisis estadístico propuesto. El prerregistro de estudios sirve para prevenir el sesgo de publicación (por ejemplo, no publicar resultados negativos), reducir el dragado de datos y aumentar la replicabilidad. [133] [134]
Los estudios que muestran una baja consistencia y calidad de los informes han demostrado la necesidad de contar con estándares y directrices para la presentación de informes en ciencia, lo que ha llevado al surgimiento de organizaciones que producen dichos estándares, como CONSORT (Consolidated Standards of Reporting Trials) y la Red EQUATOR .
La red EQUATOR ( Mejora de la calidad y la transparencia de la investigación en salud ) [135] es una iniciativa internacional destinada a promover la presentación transparente y precisa de informes de estudios de investigación en salud para mejorar el valor y la fiabilidad de la literatura de investigación médica . [136] La red EQUATOR se creó con los objetivos de crear conciencia sobre la importancia de una buena presentación de informes de investigación, ayudar en el desarrollo, la difusión y la implementación de directrices de presentación de informes para diferentes tipos de diseños de estudios, supervisar el estado de la calidad de la presentación de informes de estudios de investigación en la literatura de ciencias de la salud y realizar investigaciones relacionadas con cuestiones que afectan a la calidad de la presentación de informes de estudios de investigación en salud. [137] La red actúa como una organización "paraguas", que reúne a los desarrolladores de directrices de presentación de informes, editores de revistas médicas y revisores pares, organismos de financiación de la investigación y otras partes interesadas clave con un interés mutuo en mejorar la calidad de las publicaciones de investigación y la investigación misma.
La metaciencia se utiliza en la creación y mejora de sistemas técnicos ( TIC ) y estándares de evaluación científica, incentivos, comunicación, encargos, financiación, regulación, producción, gestión, uso y publicación. Esto puede denominarse "metaciencia aplicada" [138] [ se necesita una mejor fuente ] y puede buscar explorar formas de aumentar la cantidad, la calidad y el impacto positivo de la investigación. Un ejemplo de ello es el desarrollo de métricas alternativas . [59]
Varios sitios web o herramientas también identifican estudios inapropiados y/o permiten la retroalimentación, como PubPeer , la herramienta de riesgo de sesgo de Cochrane [139] y RetractionWatch . Las disputas médicas y académicas son tan antiguas como la antigüedad y un estudio pide que se investigue sobre la "crítica constructiva y obsesiva" y sobre políticas para "ayudar a fortalecer las redes sociales para que sean un foro vibrante de discusión, y no simplemente un escenario para combates de gladiadores". [140] La retroalimentación de los estudios se puede encontrar a través de altmetrics que a menudo se integra en el sitio web del estudio, la mayoría de las veces como una insignia de Altmetrics incorporada , pero a menudo puede estar incompleta, como solo mostrar discusiones en las redes sociales que se vinculan directamente al estudio, pero no aquellas que se vinculan a informes de noticias sobre el estudio.
Las herramientas pueden desarrollarse mediante metainvestigación o pueden utilizarse o investigarse mediante ella. Algunos ejemplos notables pueden incluir:
Según un estudio, "se necesita una forma sencilla de comprobar con qué frecuencia se han repetido los estudios y si se confirman o no los hallazgos originales" debido a problemas de reproducibilidad en la ciencia. [152] [153] Un estudio sugiere una herramienta para detectar estudios en busca de señales de advertencia tempranas de fraude en la investigación. [154]
La investigación clínica en medicina suele ser de baja calidad y muchos estudios no se pueden reproducir. [155] [156] Se estima que el 85% de la financiación de la investigación se desperdicia. [157] Además, la presencia de sesgos afecta la calidad de la investigación. [158] La industria farmacéutica ejerce una influencia sustancial en el diseño y la ejecución de la investigación médica. Los conflictos de intereses son comunes entre los autores de literatura médica [159] y entre los editores de revistas médicas. Si bien casi todas las revistas médicas exigen a sus autores que revelen los conflictos de intereses, los editores no están obligados a hacerlo. [160] Los conflictos de intereses financieros se han vinculado a tasas más altas de resultados positivos de los estudios. En los ensayos de antidepresivos, el patrocinio farmacéutico es el mejor predictor del resultado del ensayo. [161]
El cegamiento es otro foco de atención de la metainvestigación, ya que el error causado por un cegamiento deficiente es una fuente de sesgo experimental . El cegamiento no se informa bien en la literatura médica, y la incomprensión generalizada del tema ha dado lugar a una mala implementación del cegamiento en los ensayos clínicos . [162] Además, el fracaso del cegamiento rara vez se mide o se informa. [163] La investigación que muestra el fracaso del cegamiento en los ensayos de antidepresivos ha llevado a algunos científicos a argumentar que los antidepresivos no son mejores que el placebo . [164] [165] A la luz de la metainvestigación que muestra fallas del cegamiento, las normas CONSORT recomiendan que todos los ensayos clínicos evalúen e informen la calidad del cegamiento. [166]
Los estudios han demostrado que las revisiones sistemáticas de la evidencia de investigación existente se utilizan de manera subóptima para planificar una nueva investigación o resumir los resultados. [167] Los metanálisis acumulativos de estudios que evalúan la efectividad de las intervenciones médicas han demostrado que muchos ensayos clínicos podrían haberse evitado si se hubiera realizado una revisión sistemática de la evidencia existente antes de realizar un nuevo ensayo. [168] [169] [170] Por ejemplo, Lau et al. [168] analizaron 33 ensayos clínicos (que involucraron a 36974 pacientes) que evaluaban la efectividad de la estreptoquinasa intravenosa para el infarto agudo de miocardio . Su metanálisis acumulativo demostró que 25 de los 33 ensayos podrían haberse evitado si se hubiera realizado una revisión sistemática antes de realizar un nuevo ensayo. En otras palabras, aleatorizar a 34542 pacientes fue potencialmente innecesario. Un estudio [171] analizó 1523 ensayos clínicos incluidos en 227 metanálisis y concluyó que se citaron "menos de una cuarta parte de los estudios previos relevantes". También confirmaron hallazgos anteriores de que la mayoría de los informes de ensayos clínicos no presentan una revisión sistemática para justificar la investigación o resumir los resultados. [171]
Se ha demostrado que muchos tratamientos utilizados en la medicina moderna son ineficaces o incluso perjudiciales. Un estudio de 2007 realizado por John Ioannidis concluyó que la comunidad médica tardó una media de diez años en dejar de hacer referencia a prácticas populares después de que se demostrara de forma inequívoca que su eficacia era inequívoca. [172] [173]
La metaciencia ha revelado problemas significativos en la investigación psicológica. El campo sufre de un alto sesgo, baja reproducibilidad y un mal uso generalizado de las estadísticas . [174] [175] [176] La crisis de replicación afecta a la psicología más fuertemente que a cualquier otro campo; hasta dos tercios de los hallazgos altamente publicitados pueden ser imposibles de replicar. [177] La metainvestigación encuentra que el 80-95% de los estudios psicológicos respaldan sus hipótesis iniciales, lo que implica fuertemente la existencia de sesgo de publicación . [178]
La crisis de replicación ha llevado a renovados esfuerzos para volver a probar hallazgos importantes. [179] [180] En respuesta a las preocupaciones sobre el sesgo de publicación y el p -hacking , más de 140 revistas de psicología han adoptado la revisión por pares ciega a los resultados , en la que los estudios se registran previamente y se publican sin tener en cuenta su resultado. [181] Un análisis de estas reformas estimó que el 61 por ciento de los estudios ciegos a los resultados producen resultados nulos , en contraste con el 5 al 20 por ciento en investigaciones anteriores. Este análisis muestra que la revisión por pares ciega a los resultados reduce sustancialmente el sesgo de publicación. [178]
Los psicólogos confunden rutinariamente la significación estadística con la importancia práctica, informando con entusiasmo una gran certeza en hechos sin importancia. [182] Algunos psicólogos han respondido con un mayor uso de estadísticas de tamaño del efecto , en lugar de confiar únicamente en los valores p . [ cita requerida ]
Richard Feynman observó que las estimaciones de las constantes físicas se acercaban más a los valores publicados de lo que cabría esperar por casualidad. Se creía que esto era resultado de un sesgo de confirmación : era más probable que se creyera y, por lo tanto, se publicaran los resultados que coincidían con la literatura existente. En la actualidad, los físicos aplican el método de cegamiento para evitar este tipo de sesgo. [183]
Los estudios de medición web son esenciales para comprender el funcionamiento de la Web moderna, en particular en los campos de la seguridad y la privacidad. Sin embargo, estos estudios a menudo requieren configuraciones de rastreo personalizadas o modificadas, lo que genera una gran cantidad de herramientas de análisis para tareas similares. En un artículo de Nurullah Demir et al., los autores analizaron 117 artículos de investigación recientes para derivar las mejores prácticas para estudios de medición basados en la Web y establecer criterios de reproducibilidad y replicabilidad. Descubrieron que a menudo faltan configuraciones experimentales y otra información crítica para reproducir y replicar resultados. En un estudio de medición web a gran escala en 4,5 millones de páginas con 24 configuraciones de medición diferentes, los autores demostraron el impacto de ligeras diferencias en las configuraciones experimentales en los resultados generales, enfatizando la necesidad de una documentación precisa y completa. [184]
Existen varias organizaciones y universidades en todo el mundo que trabajan en metainvestigación, entre ellas el Centro de Innovación en Metainvestigación de Berlín, [185] el Centro de Innovación en Metainvestigación de Stanford , [186] [187] el Centro de Metainvestigación de la Universidad de Tilburg , la Unidad de Síntesis de Metainvestigación y Evidencia, el Instituto George para la Salud Global de la India y el Centro para la Ciencia Abierta . Las organizaciones que desarrollan herramientas para la metaciencia incluyen OurResearch , el Centro para la Integridad Científica y empresas de altmetría . Existe una Conferencia anual de Metaciencia organizada por la Asociación para la Metainvestigación Interdisciplinaria y la Ciencia Abierta (AIMOS) y una conferencia bianual organizada por el Centro para la Ciencia Abierta. [188] [189]
{{cite book}}: |work=ignorado ( ayuda ){{cite web}}: CS1 maint: numeric names: authors list (link){{cite journal}}: Cite journal requires |journal= (help)