Proceso para evaluar hipótesis alternativas
El análisis de hipótesis en competencia ( ACH , por sus siglas en inglés) es una metodología para evaluar múltiples hipótesis en competencia para datos observados. Fue desarrollado por Richards (Dick) J. Heuer, Jr. , un veterano de 45 años de la Agencia Central de Inteligencia , en la década de 1970 para su uso por parte de la Agencia. [1] El ACH es utilizado por analistas en varios campos que realizan juicios que implican un alto riesgo de error en el razonamiento. El ACH tiene como objetivo ayudar a un analista a superar, o al menos minimizar, algunas de las limitaciones cognitivas que hacen que el análisis de inteligencia profética sea tan difícil de lograr. [1]
El ACH fue un paso adelante en la metodología de análisis de inteligencia , pero primero se describió en términos relativamente informales. Producir la mejor información disponible a partir de datos inciertos sigue siendo el objetivo de los investigadores, los desarrolladores de herramientas y los analistas de la industria, la academia y el gobierno. Sus dominios incluyen la minería de datos , la psicología cognitiva y la visualización , la probabilidad y la estadística , etc. El razonamiento abductivo es un concepto anterior con similitudes con el ACH.
Proceso
Heuer describe el proceso ACH con considerable profundidad en su libro, Psicología del análisis de la inteligencia . [1] Consta de los siguientes pasos:
- Hipótesis: el primer paso del proceso consiste en identificar todas las hipótesis posibles, preferiblemente utilizando un grupo de analistas con diferentes perspectivas para intercambiar ideas sobre las posibilidades. El proceso desalienta al analista a elegir una hipótesis "probable" y utilizar evidencia para demostrar su exactitud. El sesgo cognitivo se minimiza cuando se consideran todas las hipótesis posibles. [1]
- Evidencia – Luego, el analista enumera la evidencia y los argumentos (incluyendo suposiciones y deducciones lógicas) a favor y en contra de cada hipótesis. [1]
- Diagnóstico – Mediante una matriz , el analista aplica evidencia contra cada hipótesis en un intento de refutar tantas teorías como sea posible. Algunas evidencias tendrán mayor "capacidad de diagnóstico" que otras, es decir, algunas serán más útiles para juzgar la probabilidad relativa de hipótesis alternativas. Este paso es el más importante, según Heuer. En lugar de analizar una hipótesis y todas las evidencias ("trabajando hacia abajo" en la matriz), se anima al analista a considerar una pieza de evidencia a la vez y examinarla contra todas las hipótesis posibles ("trabajando a lo largo" de la matriz). [1]
- Refinamiento: el analista revisa los hallazgos, identifica cualquier brecha y recopila cualquier evidencia adicional necesaria para refutar la mayor cantidad posible de hipótesis restantes. [1]
- Inconsistencia: el analista intenta extraer conclusiones provisionales sobre la probabilidad relativa de cada hipótesis. Una menor consistencia implica una menor probabilidad. Las hipótesis menos consistentes se eliminan. Si bien la matriz genera un total matemático definitivo para cada hipótesis, el analista debe utilizar su criterio para llegar a la conclusión final. El resultado del análisis ACH en sí no debe invalidar los propios juicios del analista.
- Sensibilidad: el analista pone a prueba las conclusiones mediante un análisis de sensibilidad , que evalúa cómo se vería afectada la conclusión si la evidencia o los argumentos clave fueran erróneos, engañosos o estuvieran sujetos a diferentes interpretaciones. La validez de la evidencia clave y la coherencia de los argumentos importantes se verifican dos veces para asegurar la solidez de los ejes y los impulsores de la conclusión. [1]
- Conclusiones y evaluación – Finalmente, el analista entrega al decisor sus conclusiones, así como un resumen de las alternativas que se consideraron y por qué se rechazaron. El analista también identifica hitos en el proceso que pueden servir como indicadores en futuros análisis. [1]
Fortalezas
Algunos beneficios de realizar una matriz ACH son:
- Es auditable.
- Se cree ampliamente que ayuda a superar los sesgos cognitivos , aunque no hay evidencia empírica sólida que respalde esta creencia. [2]
- Dado que el ACH requiere que el analista construya una matriz, se puede hacer un seguimiento de las evidencias y las hipótesis . Esto permite que el responsable de la toma de decisiones u otros analistas vean la secuencia de reglas y datos que llevaron a la conclusión.
Debilidades
Las debilidades de realizar una matriz ACH incluyen:
- El proceso para crear un ACH requiere mucho tiempo.
- La matriz ACH puede ser problemática al analizar un proyecto complejo.
- Puede resultar complicado para un analista gestionar una base de datos grande con múltiples piezas de evidencia.
- La evidencia también presenta un problema si no es confiable.
- La evidencia utilizada en la matriz es estática y por lo tanto puede ser una instantánea en el tiempo.
Especialmente en inteligencia, tanto gubernamental como empresarial, los analistas deben estar siempre conscientes de que el oponente o los oponentes son inteligentes y pueden estar generando información destinada a engañar . [3] [4] Dado que el engaño a menudo es el resultado de una trampa cognitiva, Elsaesser y Stech utilizan el reconocimiento de planes jerárquicos basados en estados (ver razonamiento abductivo ) para generar explicaciones causales de las observaciones. Las hipótesis resultantes se convierten en una red bayesiana dinámica y se emplea el análisis del valor de la información para aislar los supuestos implícitos en la evaluación de los caminos o las conclusiones de hipótesis particulares. A medida que se observa evidencia en forma de observaciones de estados o supuestos, estos pueden convertirse en objeto de una validación separada. Si se niega un supuesto o un estado necesario, se rechazan las hipótesis que dependen de él. Esta es una forma de análisis de causa raíz .
Según los críticos del constructivismo social, el ACH tampoco destaca lo suficiente (ni aborda como método) la naturaleza problemática de la formación inicial de las hipótesis utilizadas para crear su cuadrícula. Hay evidencia considerable, por ejemplo, de que además de cualquier sesgo burocrático, psicológico o político que pueda afectar la generación de hipótesis, también hay factores culturales e identitarios en juego. Estos factores construidos socialmente pueden restringir o preseleccionar qué hipótesis terminan siendo consideradas y luego reforzar el sesgo de confirmación en las seleccionadas. [5]
El filósofo y teórico de la argumentación Tim van Gelder ha hecho las siguientes críticas: [6]
- ACH exige que el analista haga demasiados juicios discretos, muchos de los cuales contribuyen poco o nada a discernir la mejor hipótesis.
- ACH concibe erróneamente la naturaleza de la relación entre los elementos de evidencia y las hipótesis al suponer que los elementos de evidencia son, por sí mismos, consistentes o inconsistentes con las hipótesis.
- ACH trata el conjunto de hipótesis como "plano", es decir, una mera lista, y por lo tanto no puede relacionar la evidencia con las hipótesis en los niveles apropiados de abstracción.
- ACH no puede representar la argumentación subordinada, es decir, la argumentación que se apoya en una pieza de evidencia.
- Las actividades de ACH a escalas realistas dejan a los analistas desorientados o confundidos.
Van Gelder propuso el mapeo de hipótesis (similar al mapeo de argumentos ) como una alternativa al ACH. [7] [8]
Análisis estructurado de hipótesis en competencia
El análisis estructurado de hipótesis en competencia ofrece a los analistas una mejora respecto de las limitaciones del ACH original. [ discutir ] [9] El SACH maximiza las hipótesis posibles al permitir al analista dividir una hipótesis en dos complejas.
Por ejemplo, dos hipótesis comprobadas podrían ser que Irak tiene armas de destrucción masiva o Irak no las tiene. Si la evidencia mostrara que es más probable que haya armas de destrucción masiva en Irak, entonces podrían formularse dos nuevas hipótesis: las armas de destrucción masiva están en Bagdad o las armas de destrucción masiva están en Mosul. O tal vez, el analista necesite saber qué tipo de armas de destrucción masiva tiene Irak; las nuevas hipótesis podrían ser que Irak tiene armas de destrucción masiva biológicas, Irak tiene armas de destrucción masiva químicas e Irak tiene armas de destrucción masiva nucleares. Al proporcionar la estructura ACH, el analista puede dar una estimación matizada. [10]
Otros enfoques del formalismo
Un método, de Valtorta y colegas, utiliza métodos probabilísticos y añade el análisis bayesiano a ACH. [11] Una generalización de este concepto a una comunidad distribuida de analistas condujo al desarrollo de CACHE (el entorno colaborativo ACH), [12] que introdujo el concepto de comunidad bayesiana. El trabajo de Akram y Wang aplica paradigmas de la teoría de grafos . [13]
Otros trabajos se centran menos en los métodos probabilísticos y más en las extensiones cognitivas y de visualización de ACH, como analizan Madsen y Hicks. [14] DECIDE, analizado en el apartado de automatización, está orientado a la visualización. [15]
El trabajo de Pope y Jøsang utiliza la lógica subjetiva , una metodología matemática formal que aborda explícitamente la incertidumbre. [16] Esta metodología constituye la base de la tecnología Sheba que se utiliza en el software de evaluación de inteligencia de Veriluma.
Software
Algunas herramientas de software en línea y descargables ayudan a automatizar el proceso de ACH. Estos programas dejan un rastro visual de las pruebas y permiten al analista sopesarlas.
- PARC ACH 2.0 [17] [18] fue desarrollado por Palo Alto Research Center (PARC) en colaboración con Richards J. Heuer, Jr. Es un programa ACH estándar que permite a los analistas ingresar evidencia y calificar su credibilidad y relevancia.
- El software Decision Command fue desarrollado por Willard Zangwill. [19]
- DECIDE fue desarrollado por la empresa de investigación analítica SSS Research, Inc. [15] [20] DECIDE no solo permite a los analistas manipular ACH, sino que también proporciona múltiples productos de visualización. [21]
- El análisis de hipótesis en competencia (ACH) es una implementación de ACH de código abierto . [22]
- La plantilla ACH [23] es una hoja de Excel que implementa la metodología de puntuación y ponderación de ACH, más específicamente el algoritmo de conteo de inconsistencias ponderadas.
Véase también
Notas
- ^ abcdefghi Heuer, Richards J. Jr, "Capítulo 8: Análisis de hipótesis en competencia", Psicología del análisis de la inteligencia, Centro para el estudio de la inteligencia, Agencia Central de Inteligencia , archivado desde el original el 13 de junio de 2007
- ^ Thomason, Neil (2010), "Hipótesis alternativas en competencia", Evaluación de campo en el contexto de inteligencia y contrainteligencia: resumen del taller, National Academies Press, doi :10.17226/12854, ISBN 978-0-309-15016-3
- ^ Elsaesser, Christopher; Stech, Frank J. (2007), "Detectando el engaño", en Kott, Alexander; McEneaney, William (eds.), Razonamiento adversarial: enfoques computacionales para leer la mente del oponente , Chapman & Hall/CRC, págs. 101-124
- ^ Stech, Frank J.; Elsaesser, Christopher, Detección de engaños mediante análisis de hipótesis en competencia (PDF) , MITRE Corporation , archivado desde el original (PDF) el 2008-08-07 , consultado el 2008-05-01Proyecto de investigación patrocinado por MITRE 51MSR111, Apoyo a la toma de decisiones contra el engaño
- ^ Capítulos uno a cuatro, Jones, Milo L. y Silberzahn, Philippe (2013). Constructing Cassandra, Reforming Intelligence Failure at the CIA, 1947-2001 . Stanford University Press. ISBN 978-0804793360.
- ^ van Gelder, Tim (diciembre de 2008), "¿Podemos hacerlo mejor que ACH?", AIPIO News (55), Instituto Australiano de Oficiales de Inteligencia Profesional
- ^ van Gelder, Tim (11 de diciembre de 2012). "Explorando nuevas direcciones para el análisis de inteligencia". timvangelder.com . Consultado el 30 de septiembre de 2018 .
- ^ Chevallier, Arnaud (2016). Pensamiento estratégico en la resolución de problemas complejos . Oxford; Nueva York: Oxford University Press . pág. 113. doi :10.1093/acprof:oso/9780190463908.001.0001. ISBN 9780190463908.OCLC 940455195 .
- ^ Wheaton, Kristan J., et al. (noviembre-diciembre de 2006), "Análisis estructurado de hipótesis en competencia: mejora de una metodología de inteligencia probada" (PDF) , Competitive Intelligence Magazine , 9 (6): 12-15, archivado desde el original (PDF) el 28 de septiembre de 2007 , consultado el 1 de mayo de 2008
- ^ Chido, Diane E., et al. (2006), Análisis estructurado de hipótesis en competencia: teoría y aplicación , Mercyhurst College Institute for Intelligence Studies Press, pág. 54
- ^ Valtorta, Marco; et al. (mayo de 2005), "Extensión del método de análisis de hipótesis en competencia de Heuer para respaldar el análisis de decisiones complejas", Conferencia internacional sobre métodos y herramientas de análisis de inteligencia (PDF)
- ^ Shrager, J., et al. (2009) La ciencia del fútbol y la comunidad bayesiana: exploración de las implicaciones cognitivas de la comunicación científica moderna. Temas de ciencia cognitiva, 2(1), 53–72.
- ^ Akram, Shaikh Muhammad; Wang, Jiaxin (23 de agosto de 2006), "Investigative Data Mining: Connecting the dots to disconnect them", Actas del Taller de Herramientas de Inteligencia de 2006 (PDF) , págs. 28-34
- ^ Madsen, Fredrik H.; Hicks, David L. (23 de agosto de 2006), "Investigación de los efectos cognitivos de las herramientas de externalización", Actas del Taller de herramientas de inteligencia de 2006 (PDF) , pp. 4-11
- ^ ab Cluxton, Diane; Eick, Stephen G., "DECIDE Hypothesis Visualization Tool", Conferencia internacional de 2005 sobre análisis de inteligencia (PDF) , archivado desde el original (PDF) el 7 de agosto de 2008 , consultado el 1 de mayo de 2008
- ^ Pope, Simon; Josang, Audun (junio de 2005), Análisis de hipótesis en competencia utilizando lógica subjetiva (ACH-SL), Queensland University, Brisbane, Australia, ADA463908, archivado desde el original el 8 de abril de 2013
- ^ Xerox Palo Alto Research Center y Richards J. Heuer, ACH2.0.3 Página de descarga: Análisis de hipótesis en competencia (ACH), archivado desde el original el 18 de marzo de 2008 , consultado el 13 de marzo de 2008
- ^ "Descargar ACH de PARC". ach1.software.informer.com . Consultado el 28 de diciembre de 2020 .
- ^ "Quantinus | Alineamiento | Ejecución". 17 de agosto de 2009. Archivado desde el original el 17 de agosto de 2009. Consultado el 28 de diciembre de 2020 .
- ^ Lankenau, Russell A., et al. (julio de 2006), SSS Research, Inc. – Presentación al concurso DECIDE, VAST 2006
- ^ SSS Research, DECIDE: de la complejidad a la claridad, archivado desde el original el 28 de marzo de 2007
- ^ Burton, Matthew (11 de diciembre de 2020), "Burton/Análisis de hipótesis en competencia", GitHub , consultado el 27 de diciembre de 2020
- ^ Stirparo, Pasquale (10 de diciembre de 2020), "pstirparo/threatintel-resources", GitHub , consultado el 28 de diciembre de 2020