Red bayesiana

Modelo estadístico

Una red bayesiana (también conocida como red de Bayes , red de Bayes , red de creencias o red de decisión ) es un modelo gráfico probabilístico que representa un conjunto de variables y sus dependencias condicionales a través de un gráfico acíclico dirigido (DAG). ^[1] Si bien es una de varias formas de notación causal , las redes causales son casos especiales de redes bayesianas. Las redes bayesianas son ideales para tomar un evento que ocurrió y predecir la probabilidad de que cualquiera de varias posibles causas conocidas fuera el factor contribuyente. Por ejemplo, una red bayesiana podría representar las relaciones probabilísticas entre enfermedades y síntomas. Dados los síntomas, la red se puede utilizar para calcular las probabilidades de la presencia de varias enfermedades.

Los algoritmos eficientes pueden realizar inferencias y aprendizaje en redes bayesianas. Las redes bayesianas que modelan secuencias de variables ( por ejemplo, señales de voz o secuencias de proteínas ) se denominan redes bayesianas dinámicas . Las generalizaciones de redes bayesianas que pueden representar y resolver problemas de decisión en condiciones de incertidumbre se denominan diagramas de influencia .

Modelo gráfico

Formalmente, las redes bayesianas son grafos acíclicos dirigidos (DAG) cuyos nodos representan variables en el sentido bayesiano : pueden ser cantidades observables, variables latentes , parámetros desconocidos o hipótesis. Cada arista representa una dependencia condicional directa. Cualquier par de nodos que no estén conectados (es decir, ningún camino conecta un nodo con el otro) representan variables que son condicionalmente independientes entre sí. Cada nodo está asociado con una función de probabilidad que toma, como entrada, un conjunto particular de valores para las variables padre del nodo , y da (como salida) la probabilidad (o distribución de probabilidad, si corresponde) de la variable representada por el nodo. Por ejemplo, si los nodos padre representan variables booleanas , entonces la función de probabilidad podría representarse mediante una tabla de entradas, una entrada para cada una de las posibles combinaciones de padres. Se pueden aplicar ideas similares a grafos no dirigidos, y posiblemente cíclicos, como las redes de Markov . ${\displaystyle m}$ ${\displaystyle m}$ ${\displaystyle 2^{m}}$ ${\displaystyle 2^{m}}$

Ejemplo

Una red bayesiana simple con tablas de probabilidad condicional

Utilicemos una ilustración para reforzar los conceptos de una red bayesiana. Supongamos que queremos modelar las dependencias entre tres variables: el aspersor (o, más apropiadamente, su estado, si está encendido o no), la presencia o ausencia de lluvia y si el césped está mojado o no. Observe que dos eventos pueden hacer que el césped se moje: un aspersor activo o la lluvia. La lluvia tiene un efecto directo en el uso del aspersor (es decir, cuando llueve, el aspersor generalmente no está activo). Esta situación se puede modelar con una red bayesiana (mostrada a la derecha). Cada variable tiene dos valores posibles, T (para verdadero) y F (para falso).

La función de probabilidad conjunta es, por la regla de la cadena de probabilidad ,

${\displaystyle \Pr(G,S,R)=\Pr(G\mid S,R)\Pr(S\mid R)\Pr(R)}$

donde G = "Césped mojado (verdadero/falso)", S = "Aspersor encendido (verdadero/falso)" y R = "Lloviendo (verdadero/falso)".

El modelo puede responder preguntas sobre la presencia de una causa dada la presencia de un efecto (la llamada probabilidad inversa) como "¿Cuál es la probabilidad de que esté lloviendo, dado que el pasto está mojado?" utilizando la fórmula de probabilidad condicional y sumando todas las variables molestas :

${\displaystyle \Pr(R=T\mid G=T)={\frac {\Pr(G=T,R=T)}{\Pr(G=T)}}={\frac {\sum _{x\in \{T,F\}}\Pr(G=T,S=x,R=T)}{\sum _{x,y\in \{T,F\}}\Pr(G=T,S=x,R=y)}}}$

Utilizando la expansión de la función de probabilidad conjunta y las probabilidades condicionales de las tablas de probabilidad condicional (CPT) indicadas en el diagrama, se puede evaluar cada término en las sumas del numerador y el denominador. Por ejemplo, ${\displaystyle \Pr(G,S,R)}$

${\displaystyle {\begin{aligned}\Pr(G=T,S=T,R=T)&=\Pr(G=T\mid S=T,R=T)\Pr(S=T\mid R=T)\Pr(R=T)\\&=0.99\times 0.01\times 0.2\\&=0.00198.\end{aligned}}}$

Luego, los resultados numéricos (subíndices de los valores de las variables asociadas) son

${\displaystyle \Pr(R=T\mid G=T)={\frac {0.00198_{TTT}+0.1584_{TFT}}{0.00198_{TTT}+0.288_{TTF}+0.1584_{TFT}+0.0_{TFF}}}={\frac {891}{2491}}\approx 35.77\%.}$

Para responder a una pregunta de intervención, como "¿Cuál es la probabilidad de que llueva, dado que mojamos el césped?", la respuesta está determinada por la función de distribución conjunta posterior a la intervención.

${\displaystyle \Pr(S,R\mid {\text{do}}(G=T))=\Pr(S\mid R)\Pr(R)}$

Se obtiene eliminando el factor de la distribución previa a la intervención. El operador do obliga a que el valor de G sea verdadero. La probabilidad de lluvia no se ve afectada por la acción: ${\displaystyle \Pr(G\mid S,R)}$

${\displaystyle \Pr(R\mid {\text{do}}(G=T))=\Pr(R).}$

Para predecir el impacto de activar el aspersor:

${\displaystyle \Pr(R,G\mid {\text{do}}(S=T))=\Pr(R)\Pr(G\mid R,S=T)}$

con el término eliminado, mostrando que la acción afecta a la hierba pero no a la lluvia. ${\displaystyle \Pr(S=T\mid R)}$

Estas predicciones pueden no ser factibles dadas las variables no observadas, como en la mayoría de los problemas de evaluación de políticas. Sin embargo, el efecto de la acción aún se puede predecir, siempre que se cumpla el criterio de la puerta trasera. ^{[2] [3]} Establece que, si se puede observar un conjunto Z de nodos que d-separa ^[4] (o bloquea) todos los caminos de la puerta trasera de X a Y , entonces ${\displaystyle {\text{do}}(x)}$

${\displaystyle \Pr(Y,Z\mid {\text{do}}(x))={\frac {\Pr(Y,Z,X=x)}{\Pr(X=x\mid Z)}}.}$

Un camino de puerta trasera es aquel que termina con una flecha en X . Los conjuntos que satisfacen el criterio de puerta trasera se denominan "suficientes" o "admisibles". Por ejemplo, el conjunto Z  =  R es admisible para predecir el efecto de S  =  T sobre G , porque R d -separa el (único) camino de puerta trasera S  ←  R  →  G . Sin embargo, si no se observa S , ningún otro conjunto d -separa este camino y el efecto de encender el aspersor ( S  =  T ) sobre el césped ( G ) no se puede predecir a partir de observaciones pasivas. En ese caso, P ( G  | do( S  =  T )) no se "identifica". Esto refleja el hecho de que, a falta de datos de intervención, la dependencia observada entre S y G se debe a una conexión causal o es espuria (dependencia aparente que surge de una causa común, R ). (véase la paradoja de Simpson )

Para determinar si se identifica una relación causal a partir de una red bayesiana arbitraria con variables no observadas, se pueden utilizar las tres reglas del " cálculo do " ^{[2] [5]} y probar si todos los términos do se pueden eliminar de la expresión de esa relación, confirmando así que la cantidad deseada es estimable a partir de datos de frecuencia. ^[6]

El uso de una red bayesiana puede ahorrar una cantidad considerable de memoria en comparación con las tablas de probabilidad exhaustivas, si las dependencias en la distribución conjunta son escasas. Por ejemplo, una forma sencilla de almacenar las probabilidades condicionales de 10 variables de dos valores como una tabla requiere espacio de almacenamiento para los valores. Si la distribución local de ninguna variable depende de más de tres variables principales, la representación de la red bayesiana almacena como máximo los valores. ${\displaystyle 2^{10}=1024}$ ${\displaystyle 10\cdot 2^{3}=80}$

Una ventaja de las redes bayesianas es que es intuitivamente más fácil para un humano comprender (un conjunto disperso de) dependencias directas y distribuciones locales que distribuciones conjuntas completas.

Inferencia y aprendizaje

Las redes bayesianas realizan tres tareas de inferencia principales:

Inferir variables no observadas

Dado que una red bayesiana es un modelo completo de sus variables y sus relaciones, se puede utilizar para responder a preguntas probabilísticas sobre ellas. Por ejemplo, la red se puede utilizar para actualizar el conocimiento del estado de un subconjunto de variables cuando se observan otras variables (las variables de evidencia ). Este proceso de calcular la distribución posterior de las variables dada la evidencia se denomina inferencia probabilística. La distribución posterior proporciona una estadística suficiente universal para aplicaciones de detección, al elegir valores para el subconjunto de variables que minimicen alguna función de pérdida esperada, por ejemplo, la probabilidad de error de decisión. Por lo tanto, una red bayesiana se puede considerar un mecanismo para aplicar automáticamente el teorema de Bayes a problemas complejos.

Los métodos de inferencia exacta más comunes son: eliminación de variables , que elimina (por integración o suma) las variables no observadas que no son de consulta una por una distribuyendo la suma sobre el producto; propagación de árbol de camarillas , que almacena en caché el cálculo de modo que se puedan consultar muchas variables a la vez y se pueda propagar nueva evidencia rápidamente; y condicionamiento recursivo y búsqueda AND/OR, que permiten un equilibrio espacio-tiempo y coinciden con la eficiencia de la eliminación de variables cuando se utiliza suficiente espacio. Todos estos métodos tienen una complejidad que es exponencial en el ancho del árbol de la red. Los algoritmos de inferencia aproximada más comunes son el muestreo de importancia , la simulación MCMC estocástica , la eliminación de mini-bucket, la propagación de creencias en bucle , la propagación de creencias generalizadas y los métodos variacionales .

Aprendizaje de parámetros

Para especificar completamente la red bayesiana y, por lo tanto, representar completamente la distribución de probabilidad conjunta , es necesario especificar para cada nodo X la distribución de probabilidad para X condicional a los padres de X. La distribución de X condicional a sus padres puede tener cualquier forma. Es común trabajar con distribuciones discretas o gaussianas ya que eso simplifica los cálculos. A veces solo se conocen las restricciones de la distribución; uno puede entonces usar el principio de máxima entropía para determinar una única distribución, la que tiene la mayor entropía dadas las restricciones. (De manera análoga, en el contexto específico de una red bayesiana dinámica , la distribución condicional para la evolución temporal del estado oculto se especifica comúnmente para maximizar la tasa de entropía del proceso estocástico implícito).

A menudo, estas distribuciones condicionales incluyen parámetros que son desconocidos y deben estimarse a partir de los datos, por ejemplo, mediante el enfoque de máxima verosimilitud . La maximización directa de la verosimilitud (o de la probabilidad posterior ) suele ser compleja dadas las variables no observadas. Un enfoque clásico para este problema es el algoritmo de maximización de expectativas , que alterna el cálculo de los valores esperados de las variables no observadas condicionales a los datos observados, con la maximización de la verosimilitud completa (o posterior) suponiendo que los valores esperados calculados previamente son correctos. En condiciones de regularidad moderada, este proceso converge en valores de máxima verosimilitud (o posterior máxima) para los parámetros.

Un enfoque bayesiano más completo para los parámetros consiste en tratarlos como variables adicionales no observadas y calcular una distribución posterior completa sobre todos los nodos, en función de los datos observados, para luego integrar los parámetros. Este enfoque puede ser costoso y dar lugar a modelos de gran dimensión, lo que hace que los enfoques clásicos de establecimiento de parámetros sean más manejables.

Aprendizaje estructurado

En el caso más simple, un experto especifica una red bayesiana y luego la utiliza para realizar inferencias. En otras aplicaciones, la tarea de definir la red es demasiado compleja para los humanos. En este caso, la estructura de la red y los parámetros de las distribuciones locales deben aprenderse a partir de los datos.

Aprender automáticamente la estructura gráfica de una red bayesiana (BN) es un desafío que se persigue dentro del aprendizaje automático . La idea básica se remonta a un algoritmo de recuperación desarrollado por Rebane y Pearl ^[7] y se basa en la distinción entre los tres patrones posibles permitidos en un DAG de 3 nodos:

Los primeros dos representan las mismas dependencias ( y son independientes dados ) y, por lo tanto, son indistinguibles. Sin embargo, el colisionador puede identificarse de forma única, ya que y son marginalmente independientes y todos los demás pares son dependientes. Por lo tanto, si bien los esqueletos (los gráficos despojados de flechas) de estos tres tripletes son idénticos, la direccionalidad de las flechas es parcialmente identificable. La misma distinción se aplica cuando y tienen padres comunes, excepto que primero se deben condicionar esos padres. Se han desarrollado algoritmos para determinar sistemáticamente el esqueleto del gráfico subyacente y, luego, orientar todas las flechas cuya direccionalidad está dictada por las independencias condicionales observadas. ^{[2] [8] [9] [10]} ${\displaystyle X}$ ${\displaystyle Z}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Z}$ ${\displaystyle X}$ ${\displaystyle Z}$

Un método alternativo de aprendizaje estructural utiliza la búsqueda basada en optimización. Requiere una función de puntuación y una estrategia de búsqueda. Una función de puntuación común es la probabilidad posterior de la estructura dados los datos de entrenamiento, como el BIC o el BDeu. El requisito de tiempo de una búsqueda exhaustiva que devuelve una estructura que maximiza la puntuación es superexponencial en el número de variables. Una estrategia de búsqueda local realiza cambios incrementales destinados a mejorar la puntuación de la estructura. Un algoritmo de búsqueda global como la cadena de Markov Monte Carlo puede evitar quedar atrapado en mínimos locales . Friedman et al. ^{[11] [12]} analizan el uso de información mutua entre variables y la búsqueda de una estructura que la maximice. Lo hacen restringiendo el conjunto de candidatos padre a k nodos y buscando exhaustivamente en él.

Un método particularmente rápido para el aprendizaje exacto de BN es plantear el problema como un problema de optimización y resolverlo utilizando programación entera . Las restricciones de aciclicidad se agregan al programa entero (IP) durante la resolución en forma de planos de corte . ^[13] Este método puede manejar problemas con hasta 100 variables.

Para tratar problemas con miles de variables, es necesario un enfoque diferente. Uno de ellos es muestrear primero un ordenamiento y luego encontrar la estructura de red óptima con respecto a ese ordenamiento. Esto implica trabajar en el espacio de búsqueda de los posibles ordenamientos, lo cual es conveniente ya que es más pequeño que el espacio de las estructuras de red. Luego se muestrean y evalúan múltiples ordenamientos. Se ha demostrado que este método es el mejor disponible en la literatura cuando el número de variables es enorme. ^[14]

Otro método consiste en centrarse en la subclase de modelos descomponibles, para los cuales los MLE tienen una forma cerrada. De esta manera es posible descubrir una estructura consistente para cientos de variables. ^[15]

El aprendizaje de redes bayesianas con un ancho de árbol limitado es necesario para permitir una inferencia exacta y manejable, ya que la complejidad de la inferencia en el peor de los casos es exponencial en el ancho de árbol k (según la hipótesis del tiempo exponencial). Sin embargo, como propiedad global del grafo, aumenta considerablemente la dificultad del proceso de aprendizaje. En este contexto, es posible utilizar K-tree para un aprendizaje efectivo. ^[16]

Introducción estadística

Dados los datos y parámetros , un análisis bayesiano simple comienza con una probabilidad previa ( prior ) y una probabilidad para calcular una probabilidad posterior . ${\displaystyle x\,\!}$ ${\displaystyle \theta }$ ${\displaystyle p(\theta )}$ ${\displaystyle p(x\mid \theta )}$ ${\displaystyle p(\theta \mid x)\propto p(x\mid \theta )p(\theta )}$

A menudo, la probabilidad previa depende a su vez de otros parámetros que no se mencionan en la probabilidad. Por lo tanto, la probabilidad previa debe reemplazarse por una probabilidad y se requiere una probabilidad previa de los parámetros recién introducidos , lo que da como resultado una probabilidad posterior. ${\displaystyle \theta }$ ${\displaystyle \varphi }$ ${\displaystyle p(\theta )}$ ${\displaystyle p(\theta \mid \varphi )}$ ${\displaystyle p(\varphi )}$ ${\displaystyle \varphi }$

${\displaystyle p(\theta ,\varphi \mid x)\propto p(x\mid \theta )p(\theta \mid \varphi )p(\varphi ).}$

Este es el ejemplo más simple de un modelo Bayes jerárquico .

El proceso puede repetirse; por ejemplo, los parámetros pueden depender a su vez de parámetros adicionales , que requieren su propio prior. Finalmente, el proceso debe terminar, con priores que no dependan de parámetros no mencionados. ${\displaystyle \varphi }$ ${\displaystyle \psi \,\!}$

Ejemplos introductorios

Dadas las cantidades medidas, cada una con errores distribuidos normalmente y con una desviación estándar conocida , ${\displaystyle x_{1},\dots ,x_{n}\,\!}$ ${\displaystyle \sigma \,\!}$

${\displaystyle x_{i}\sim N(\theta _{i},\sigma ^{2})}$

Supongamos que estamos interesados ​​en estimar el . Un enfoque sería estimar el utilizando un enfoque de máxima verosimilitud ; dado que las observaciones son independientes, la verosimilitud se factoriza y la estimación de máxima verosimilitud es simplemente ${\displaystyle \theta _{i}}$ ${\displaystyle \theta _{i}}$

${\displaystyle \theta _{i}=x_{i}.}$

Sin embargo, si las cantidades están relacionadas, de modo que, por ejemplo, los individuos mismos han sido extraídos de una distribución subyacente, entonces esta relación destruye la independencia y sugiere un modelo más complejo, por ejemplo, ${\displaystyle \theta _{i}}$

${\displaystyle x_{i}\sim N(\theta _{i},\sigma ^{2}),}$

${\displaystyle \theta _{i}\sim N(\varphi ,\tau ^{2}),}$

con valores previos impropios , . Cuando , se trata de un modelo identificado (es decir, existe una solución única para los parámetros del modelo), y las distribuciones posteriores del individuo tenderán a moverse o a encogerse alejándose de las estimaciones de máxima verosimilitud hacia su media común. Esta contracción es un comportamiento típico en los modelos bayesianos jerárquicos. ${\displaystyle \varphi \sim {\text{flat}}}$ ${\displaystyle \tau \sim {\text{flat}}\in (0,\infty )}$ ${\displaystyle n\geq 3}$ ${\displaystyle \theta _{i}}$

Restricciones a los antecedentes

Se debe tener cuidado al elegir valores a priori en un modelo jerárquico, en particular en el caso de variables de escala en niveles superiores de la jerarquía, como la variable del ejemplo. Los valores a priori habituales, como el de Jeffreys, a menudo no funcionan, porque la distribución posterior no será normalizable y las estimaciones realizadas minimizando la pérdida esperada serán inadmisibles . ${\displaystyle \tau \,\!}$

Definiciones y conceptos

Se han propuesto varias definiciones equivalentes de una red bayesiana. Para lo siguiente, sea G = ( V , E ) un grafo acíclico dirigido (DAG) y sea X = ( X _v ), v ∈ V un conjunto de variables aleatorias indexadas por V .

Definición de factorización

X es una red bayesiana con respecto a G si su función de densidad de probabilidad conjunta (con respecto a una medida de producto ) se puede escribir como un producto de las funciones de densidad individuales, condicional a sus variables principales: ^[17]

${\displaystyle p(x)=\prod _{v\in V}p\left(x_{v}\,{\big |}\,x_{\operatorname {pa} (v)}\right)}$

donde pa( v ) es el conjunto de padres de v (es decir, aquellos vértices que apuntan directamente a v a través de un solo borde).

Para cualquier conjunto de variables aleatorias, la probabilidad de cualquier miembro de una distribución conjunta se puede calcular a partir de probabilidades condicionales utilizando la regla de la cadena (dado un ordenamiento topológico de X ) de la siguiente manera: ^[17]

${\displaystyle \operatorname {P} (X_{1}=x_{1},\ldots ,X_{n}=x_{n})=\prod _{v=1}^{n}\operatorname {P} \left(X_{v}=x_{v}\mid X_{v+1}=x_{v+1},\ldots ,X_{n}=x_{n}\right)}$

Usando la definición anterior, esto se puede escribir como:

${\displaystyle \operatorname {P} (X_{1}=x_{1},\ldots ,X_{n}=x_{n})=\prod _{v=1}^{n}\operatorname {P} (X_{v}=x_{v}\mid X_{j}=x_{j}{\text{ for each }}X_{j}\,{\text{ that is a parent of }}X_{v}\,)}$

La diferencia entre las dos expresiones es la independencia condicional de las variables de cualquiera de sus no descendientes, dados los valores de sus variables padres.

Propiedad local de Markov

X es una red bayesiana con respecto a G si satisface la propiedad local de Markov : cada variable es condicionalmente independiente de sus no descendientes dadas sus variables padre: ^[18]

${\displaystyle X_{v}\perp \!\!\!\perp X_{V\,\smallsetminus \,\operatorname {de} (v)}\mid X_{\operatorname {pa} (v)}\quad {\text{for all }}v\in V}$

donde de( v ) es el conjunto de descendientes y V  \ de( v ) es el conjunto de no descendientes de v .

Esto se puede expresar en términos similares a la primera definición, como

${\displaystyle {\begin{aligned}&\operatorname {P} (X_{v}=x_{v}\mid X_{i}=x_{i}{\text{ for each }}X_{i}{\text{ that is not a descendant of }}X_{v}\,)\\[6pt]={}&P(X_{v}=x_{v}\mid X_{j}=x_{j}{\text{ for each }}X_{j}{\text{ that is a parent of }}X_{v}\,)\end{aligned}}}$

El conjunto de padres es un subconjunto del conjunto de no descendientes porque el gráfico es acíclico .

Estructura de independencia marginal

En general, se sabe que aprender una red bayesiana a partir de datos es NP-hard . ^[19] Esto se debe en parte a la explosión combinatoria de enumeración de DAG a medida que aumenta el número de variables. Sin embargo, se pueden obtener conocimientos sobre una red bayesiana subyacente a partir de datos en tiempo polinomial centrándose en su estructura de independencia marginal: ^[20] mientras que las declaraciones de independencia condicional de una distribución modelada por una red bayesiana están codificadas por un DAG (de acuerdo con la factorización y las propiedades de Markov anteriores), sus declaraciones de independencia marginal (las declaraciones de independencia condicional en las que el conjunto condicionante está vacío) están codificadas por un gráfico simple no dirigido con propiedades especiales como intersección igual y números de independencia .

Desarrollo de redes bayesianas

El desarrollo de una red bayesiana suele comenzar con la creación de un DAG G tal que X satisfaga la propiedad local de Markov con respecto a G . A veces se trata de un DAG causal . Se evalúan las distribuciones de probabilidad condicional de cada variable dadas sus variables parentales en G . En muchos casos, en particular en el caso en que las variables son discretas, si la distribución conjunta de X es el producto de estas distribuciones condicionales, entonces X es una red bayesiana con respecto a G . ^[21]

Manta de Markov

La manta de Markov de un nodo es el conjunto de nodos que consiste en sus padres, sus hijos y cualquier otro padre de sus hijos. La manta de Markov hace que el nodo sea independiente del resto de la red; la distribución conjunta de las variables en la manta de Markov de un nodo es conocimiento suficiente para calcular la distribución del nodo. X es una red bayesiana con respecto a G si cada nodo es condicionalmente independiente de todos los demás nodos de la red, dada su manta de Markov . ^[18]

d-separación

Esta definición se puede hacer más general definiendo la separación "d" de dos nodos, donde d representa direccional. ^[2] Primero definimos la separación "d" de un sendero y luego definiremos la separación "d" de dos nodos en términos de eso.

Sea P un camino desde el nodo u hasta v . Un camino es un camino sin bucles y sin dirección (es decir, se ignoran todas las direcciones de los bordes) entre dos nodos. Entonces, se dice que P está d -separado por un conjunto de nodos Z si se cumple alguna de las siguientes condiciones:

• P contiene (pero no necesita ser completamente) una cadena dirigida, o , tal que el nodo medio m está en Z , ${\displaystyle u\cdots \leftarrow m\leftarrow \cdots v}$ ${\displaystyle u\cdots \rightarrow m\rightarrow \cdots v}$
• P contiene una bifurcación, , tal que el nodo medio m está en Z , o ${\displaystyle u\cdots \leftarrow m\rightarrow \cdots v}$
• P contiene una horquilla invertida (o colisionador), , tal que el nodo medio m no está en Z y ningún descendiente de m está en Z . ${\displaystyle u\cdots \rightarrow m\leftarrow \cdots v}$

Los nodos u y v están separados por d por Z si todos los caminos entre ellos están separados por d . Si u y v no están separados por d, están conectados por d.

X es una red bayesiana con respecto a G si, para cualesquiera dos nodos u , v :

${\displaystyle X_{u}\perp \!\!\!\perp X_{v}\mid X_{Z}}$

donde Z es un conjunto que d -separa u y v . (La manta de Markov es el conjunto mínimo de nodos que d -separa el nodo v de todos los demás nodos).

Redes causales

Aunque las redes bayesianas se utilizan a menudo para representar relaciones causales , esto no tiene por qué ser así: una arista dirigida de u a v no requiere que X _v sea causalmente dependiente de X _u . Esto se demuestra por el hecho de que las redes bayesianas en los grafos:

${\displaystyle a\rightarrow b\rightarrow c\qquad {\text{and}}\qquad a\leftarrow b\leftarrow c}$

son equivalentes: es decir, imponen exactamente los mismos requisitos de independencia condicional.

Una red causal es una red bayesiana con el requisito de que las relaciones sean causales. La semántica adicional de las redes causales especifica que si se provoca activamente que un nodo X se encuentre en un estado dado x (una acción escrita como do( X  =  x )), entonces la función de densidad de probabilidad cambia a la de la red obtenida al cortar los vínculos de los padres de X a X , y establecer X en el valor causado x . ^[2] Usando esta semántica, se puede predecir el impacto de las intervenciones externas a partir de los datos obtenidos antes de la intervención.

Complejidad de inferencia y algoritmos de aproximación

En 1990, mientras trabajaba en la Universidad de Stanford en grandes aplicaciones bioinformáticas, Cooper demostró que la inferencia exacta en redes bayesianas es NP-hard . ^[22] Este resultado impulsó la investigación sobre algoritmos de aproximación con el objetivo de desarrollar una aproximación manejable a la inferencia probabilística. En 1993, Paul Dagum y Michael Luby demostraron dos resultados sorprendentes sobre la complejidad de la aproximación de la inferencia probabilística en redes bayesianas. ^[23] Primero, demostraron que ningún algoritmo determinista manejable puede aproximar la inferencia probabilística dentro de un error absoluto ɛ  < 1/2. Segundo, demostraron que ningún algoritmo aleatorio manejable puede aproximar la inferencia probabilística dentro de un error absoluto ɛ  < 1/2 con una probabilidad de confianza mayor que 1/2.

Casi al mismo tiempo, Roth demostró que la inferencia exacta en redes bayesianas es de hecho #P-completa (y por lo tanto tan difícil como contar el número de asignaciones satisfactorias de una fórmula de forma normal conjuntiva (CNF)) y que la inferencia aproximada dentro de un factor 2 ^{n 1− ɛ} para cada ɛ > 0, incluso para redes bayesianas con arquitectura restringida, es NP-difícil. ^{[24] [25]}

En términos prácticos, estos resultados de complejidad sugirieron que, si bien las redes bayesianas eran representaciones ricas para aplicaciones de IA y aprendizaje automático, su uso en grandes aplicaciones del mundo real necesitaría ser moderado por restricciones estructurales topológicas, como redes Bayesianas ingenuas, o por restricciones en las probabilidades condicionales. El algoritmo de varianza acotada ^[26] desarrollado por Dagum y Luby fue el primer algoritmo de aproximación rápida demostrable para aproximar eficientemente la inferencia probabilística en redes bayesianas con garantías en la aproximación del error. Este poderoso algoritmo requería que la restricción menor en las probabilidades condicionales de la red bayesiana se alejara de cero y uno por donde era cualquier polinomio del número de nodos en la red, . ${\displaystyle 1/p(n)}$ ${\displaystyle p(n)}$ ${\displaystyle n}$

Software

Entre los programas notables para redes bayesianas se incluyen:

• Otro sampler de Gibbs (JAGS): alternativa de código abierto a WinBUGS. Utiliza el muestreo de Gibbs.
• OpenBUGS – Desarrollo de código abierto de WinBUGS.
• SPSS Modeler – Software comercial que incluye una implementación para redes bayesianas.
• Stan (software) – Stan es un paquete de código abierto para obtener inferencia bayesiana utilizando el muestreador No-U-Turn (NUTS), ^[27] una variante del método Monte Carlo hamiltoniano.
• PyMC : una biblioteca de Python que implementa un lenguaje específico de dominio integrado para representar redes bayesianas y una variedad de muestreadores (incluido NUTS)
• WinBUGS : una de las primeras implementaciones computacionales de los muestreadores MCMC. Ya no se mantiene.

Historia

El término red bayesiana fue acuñado por Judea Pearl en 1985 para enfatizar: ^[28]

• La naturaleza a menudo subjetiva de la información de entrada.
• La confianza en el condicionamiento de Bayes como base para actualizar la información
• La distinción entre los modos de razonamiento causal y evidencial ^[29]

A finales de la década de 1980, el Razonamiento Probabilístico en Sistemas Inteligentes de Pearl ^[30] y el Razonamiento Probabilístico en Sistemas Expertos de Napolitan ^[31] resumieron sus propiedades y las establecieron como un campo de estudio.

Véase también

• Portal de matemáticas

• Epistemología bayesiana
• Programación bayesiana
• Inferencia causal
• Diagrama de bucle causal
• Árbol Chow-Liu
• Inteligencia computacional
• Filogenética computacional
• Red de creencias profundas
• Teoría de Dempster-Shafer : una generalización del teorema de Bayes
• Algoritmo de expectativa-maximización
• Gráfica de factores
• Memoria temporal jerárquica
• Filtro Kalman
• Marco de predicción de la memoria
• Distribución de mezcla
• Modelo de mezcla
• Clasificador bayesiano ingenuo
• Notación de placa
• Poliárbol
• Fusión de sensores
• Alineación de secuencias
• Modelado de ecuaciones estructurales
• Lógica subjetiva
• Red bayesiana de orden variable

Notas

1. Ruggeri, Fabrizio; Kenett, Ron S.; Faltin, Frederick W., eds. (14 de diciembre de 2007). Enciclopedia de estadísticas sobre calidad y confiabilidad (1.ª ed.). Wiley. pág. 1. doi :10.1002/9780470061572.eqr089. ISBN 978-0-470-01861-3.
2. Pearl, Judea (2000). Causalidad: modelos, razonamiento e inferencia. Cambridge University Press . ISBN 978-0-521-77362-1.OCLC 42291253  .
3. "El criterio de la puerta trasera" (PDF) . Consultado el 18 de septiembre de 2014 .
4. "d-Separación sin lágrimas" (PDF) . Consultado el 18 de septiembre de 2014 .
5. Pearl J (1994). "Un cálculo probabilístico de acciones". En Lopez de Mantaras R, Poole D (eds.). UAI'94 Actas de la Décima conferencia internacional sobre incertidumbre en inteligencia artificial . San Mateo CA: Morgan Kaufmann . pp. 454–462. arXiv : 1302.6835 . Bibcode :2013arXiv1302.6835P. ISBN . 1-55860-332-8.
6. Shpitser I, Pearl J (2006). "Identificación de distribuciones intervencionistas condicionales". En Dechter R, Richardson TS (eds.). Actas de la vigésimo segunda conferencia sobre incertidumbre en inteligencia artificial . Corvallis, OR: AUAI Press. págs. 437–444. arXiv : 1206.6876 .
7. Rebane G, Pearl J (1987). "La recuperación de poliárboles causales a partir de datos estadísticos". Actas, 3.er taller sobre incertidumbre en IA . Seattle, WA. págs. 222–228. arXiv : 1304.2736 .{{cite book}}: CS1 maint: location missing publisher (link)
8. Spirtes P, Glymour C (1991). "Un algoritmo para la recuperación rápida de grafos causales dispersos" (PDF) . Social Science Computer Review . 9 (1): 62–72. CiteSeerX 10.1.1.650.2922 . doi :10.1177/089443939100900106. S2CID  38398322. 
9. Spirtes P, Glymour CN, Scheines R (1993). Causación, predicción y búsqueda (1ª ed.). Springer-Verlag. ISBN 978-0-387-97979-3.
10. Verma T, Pearl J (1991). "Equivalencia y síntesis de modelos causales". En Bonissone P, Henrion M, Kanal LN, Lemmer JF (eds.). UAI '90 Actas de la Sexta Conferencia Anual sobre Incertidumbre en Inteligencia Artificial . Elsevier. págs. 255–270. ISBN 0-444-89264-8.
11. Friedman N, Geiger D, Goldszmidt M (noviembre de 1997). "Clasificadores de redes bayesianas". Aprendizaje automático . 29 (2–3): 131–163. doi : 10.1023/A:1007465528199 .
12. Friedman N, Linial M, Nachman I, Pe'er D (agosto de 2000). "Uso de redes bayesianas para analizar datos de expresión". Journal of Computational Biology . 7 (3–4): 601–20. CiteSeerX 10.1.1.191.139 . doi :10.1089/106652700750050961. PMID  11108481. 
13. Cussens J (2011). "Aprendizaje de redes bayesianas con planos de corte" (PDF) . Actas de la 27.ª Conferencia Anual sobre Incertidumbre en Inteligencia Artificial : 153–160. arXiv : 1202.3713 . Código Bibliográfico :2012arXiv1202.3713C.
14. Scanagatta M, de Campos CP, Corani G, Zaffalon M (2015). "Aprendizaje de redes bayesianas con miles de variables". NIPS-15: Avances en sistemas de procesamiento de información neuronal . Vol. 28. Curran Associates. págs. 1855–1863.
15. Petitjean F, Webb GI, Nicholson AE (2013). Escalado del análisis log-lineal a datos de alta dimensión (PDF) . Conferencia internacional sobre minería de datos. Dallas, TX, EE. UU.: IEEE.
16. M. Scanagatta, G. Corani, CP de Campos y M. Zaffalon. Aprendizaje de redes bayesianas limitadas por el ancho del árbol con miles de variables. En NIPS-16: Advances in Neural Information Processing Systems 29, 2016.
17. Russell y Norvig 2003, pág. 496.
18. Russell y Norvig 2003, pág. 499.
19. Chickering, David M.; Heckerman, David; Meek, Christopher (2004). "El aprendizaje de redes bayesianas en muestras grandes es NP-hard" (PDF) . Journal of Machine Learning Research . 5 : 1287–1330.
20. Deligeorgaki, Danai; Markham, Alex; Misra, Pratik; Solus, Liam (2023). "Perspectivas combinatorias y algebraicas sobre la estructura de independencia marginal de las redes bayesianas". Estadística algebraica . 14 (2): 233–286. arXiv : 2210.00822 . doi :10.2140/astat.2023.14.233.
21. Neapolitan RE (2004). Aprendizaje de redes bayesianas. Prentice Hall. ISBN 978-0-13-012534-7.
22. Cooper GF (1990). "La complejidad computacional de la inferencia probabilística utilizando redes de creencias bayesianas" (PDF) . Inteligencia artificial . 42 (2–3): 393–405. doi :10.1016/0004-3702(90)90060-d. S2CID  43363498.
23. Dagum P, Luby M (1993). "La aproximación de la inferencia probabilística en redes de creencias bayesianas es NP-hard". Inteligencia artificial . 60 (1): 141–153. CiteSeerX 10.1.1.333.1586 . doi :10.1016/0004-3702(93)90036-b. 
24. D. Roth, Sobre la dureza del razonamiento aproximado, IJCAI (1993)
25. D. Roth, Sobre la dureza del razonamiento aproximado, Inteligencia Artificial (1996)
26. Dagum P, Luby M (1997). "Un algoritmo de aproximación óptima para la inferencia bayesiana". Inteligencia artificial . 93 (1–2): 1–27. CiteSeerX 10.1.1.36.7946 . doi :10.1016/s0004-3702(97)00013-1. Archivado desde el original el 2017-07-06 . Consultado el 2015-12-19 . 
27. Hoffman, Matthew D.; Gelman, Andrew (2011). "El muestreador sin giro en U: configuración adaptativa de longitudes de trayectoria en el método Monte Carlo hamiltoniano". arXiv : 1111.4246 [stat.CO].
28. Pearl J (1985). Bayesian Networks: A Model of Self-Activated Memory for Evidential Reasoning (Informe técnico de la UCLA CSD-850017) . Actas de la 7.ª Conferencia de la Cognitive Science Society, Universidad de California, Irvine, CA. pp. 329–334 . Consultado el 1 de mayo de 2009 .
29. Bayes T , Price (1763). "Un ensayo para resolver un problema en la doctrina de las probabilidades" . Philosophical Transactions of the Royal Society . 53 : 370–418. doi : 10.1098/rstl.1763.0053 .
30. Pearl J (15 de septiembre de 1988). Razonamiento probabilístico en sistemas inteligentes. San Francisco, CA: Morgan Kaufmann . pág. 1988. ISBN. 978-1-55860-479-7.
31. Napolitan RE (1989). Razonamiento probabilístico en sistemas expertos: teoría y algoritmos. Wiley. ISBN 978-0-471-61840-9.

Referencias

• Ben Gal I (2007). "Bayesian Networks" (PDF) . En Ruggeri F, Kennett RS, Faltin FW (eds.). Página de soporte . Enciclopedia de estadísticas en calidad y confiabilidad . John Wiley & Sons . doi : 10.1002/9780470061572.eqr089 . ISBN . 978-0-470-01861-3Archivado desde el original (PDF) el 23 de noviembre de 2016. Consultado el 27 de agosto de 2007 .
• Bertsch McGrayne S (2011). La teoría que no quería morir . New Haven: Yale University Press .
• Borgelt C, Kruse R (marzo de 2002). Modelos gráficos: métodos para el análisis y la extracción de datos. Chichester, Reino Unido : Wiley . ISBN 978-0-470-84337-6.
• Borsuk ME (2008). "Informática ecológica: redes bayesianas". En Jørgensen, Sven Erik , Fath, Brian (eds.). Enciclopedia de ecología . Elsevier. ISBN 978-0-444-52033-3.
• Castillo E, Gutiérrez JM, Hadi AS (1997). "Aprendizaje de redes bayesianas". Sistemas expertos y modelos de redes probabilísticas . Monografías en informática. Nueva York: Springer-Verlag . pp. 481–528. ISBN. 978-0-387-94858-4.
• Comley JW, Dowe DL (junio de 2003). "Redes bayesianas generales y lenguajes asimétricos". Actas de la 2.ª Conferencia internacional de Hawái sobre estadística y campos relacionados .
• Comley JW, Dowe DL (2005). "Longitud mínima de mensaje y redes bayesianas generalizadas con lenguajes asimétricos". En Grünwald PD, Myung IJ, Pitt MA (eds.). Avances en longitud mínima de descripción: teoría y aplicaciones . Serie de procesamiento de información neuronal. Cambridge, Massachusetts : Bradford Books ( MIT Press ) (publicado en abril de 2005). pp. 265–294. ISBN 978-0-262-07262-5.(Este artículo coloca árboles de decisión en nodos internos de redes Bayes utilizando Longitud Mínima de Mensaje ( MML ).
• Darwiche A (2009). Modelado y razonamiento con redes bayesianas. Cambridge University Press . ISBN 978-0-521-88438-9.
• Dowe, David L. (31 de mayo de 2011). "Modelos gráficos de redes bayesianas híbridas, consistencia estadística, invariancia y unicidad" (PDF) . Filosofía de la estadística. Elsevier. pp. 901–982. ISBN 978-0-08-093096-1.
• Fenton N, Neil ME (noviembre de 2007). "Gestión del riesgo en el mundo moderno: aplicaciones de las redes bayesianas" (PDF) . Informe de transferencia de conocimientos de la London Mathematical Society y la Red de transferencia de conocimientos para las matemáticas industriales . Londres (Inglaterra) : London Mathematical Society . Archivado desde el original (PDF) el 14 de mayo de 2008. Consultado el 29 de octubre de 2008 .
• Fenton N, Neil ME (23 de julio de 2004). "Combinación de evidencia en el análisis de riesgos mediante redes bayesianas" (PDF) . Boletín informativo del Safety Critical Systems Club . Vol. 13, núm. 4. Newcastle upon Tyne , Inglaterra. págs. 8–13. Archivado desde el original (PDF) el 27 de septiembre de 2007.
• Gelman A, Carlin JB, Stern HS, Rubin DB (2003). "Parte II: Fundamentos del análisis de datos bayesianos: Capítulo 5 Modelos jerárquicos". Análisis de datos bayesianos. CRC Press . pp. 120–. ISBN 978-1-58488-388-3.
• Heckerman, David (1 de marzo de 1995). "Tutorial sobre aprendizaje con redes bayesianas". En Jordan, Michael Irwin (ed.). Aprendizaje en modelos gráficos . Computación adaptativa y aprendizaje automático. Cambridge, Massachusetts : MIT Press (publicado en 1998). pp. 301–354. ISBN 978-0-262-60032-3. Archivado desde el original el 19 de julio de 2006 . Consultado el 15 de septiembre de 2006 .{{cite book}}: CS1 maint: bot: original URL status unknown (link):También aparece como Heckerman, David (marzo de 1997). "Bayesian Networks for Data Mining". Minería de datos y descubrimiento de conocimiento . 1 (1): 79–119. doi :10.1023/A:1009730122752. S2CID  6294315.

Una versión anterior apareció en Microsoft Research el 1 de marzo de 1995. El artículo trata sobre el aprendizaje de parámetros y estructuras en redes bayesianas.

• Jensen FV, Nielsen TD (6 de junio de 2007). Redes bayesianas y gráficos de decisión. Serie de Ciencias de la información y estadística (2.ª ed.). Nueva York : Springer-Verlag . ISBN 978-0-387-68281-5.
• Karimi K, Hamilton HJ (2000). "Encontrar relaciones temporales: redes bayesianas causales frente a C4. 5" (PDF) . Duodécimo Simposio Internacional sobre Metodologías para Sistemas Inteligentes .
• Korb KB, Nicholson AE (diciembre de 2010). Inteligencia artificial bayesiana. CRC Computer Science & Data Analysis (2.ª ed.). Chapman & Hall ( CRC Press ). doi :10.1007/s10044-004-0214-5. ISBN 978-1-58488-387-6. Número de identificación del sujeto  22138783.
• Lunn D, Spiegelhalter D, Thomas A, Best N (noviembre de 2009). "El proyecto BUGS: evolución, crítica y direcciones futuras". Estadísticas en Medicina . 28 (25): 3049–67. doi :10.1002/sim.3680. PMID  19630097. S2CID  7717482.
• Neil M, Fenton N, Tailor M (agosto de 2005). Greenberg, Michael R. (ed.). "Uso de redes bayesianas para modelar pérdidas operativas esperadas e inesperadas" (PDF) . Análisis de riesgos . 25 (4): 963–72. doi :10.1111/j.1539-6924.2005.00641.x. PMID  16268944. S2CID  3254505.
• Pearl J (septiembre de 1986). "Fusión, propagación y estructuración en redes de creencias". Inteligencia artificial . 29 (3): 241–288. doi :10.1016/0004-3702(86)90072-X.
• Pearl J (1988). Razonamiento probabilístico en sistemas inteligentes: redes de inferencia plausible. Serie Representación y razonamiento (segunda edición). San Francisco, California : Morgan Kaufmann . ISBN 978-0-934613-73-6.
• Pearl J , Russell S (noviembre de 2002). "Bayesian Networks". En Arbib MA (ed.). Handbook of Brain Theory and Neural Networks. Cambridge, Massachusetts : Bradford Books ( MIT Press ). pp. 157–160. ISBN 978-0-262-01197-6.
• Russell, Stuart J. ; Norvig, Peter (2003), Inteligencia artificial: un enfoque moderno (2.ª ed.), Upper Saddle River, Nueva Jersey: Prentice Hall, ISBN 0-13-790395-2.
• Zhang NL, Poole D (mayo de 1994). "Un enfoque simple para los cálculos de redes bayesianas" (PDF) . Actas de la Décima Conferencia Bienal Canadiense sobre Inteligencia Artificial (AI-94). : 171–178.Este artículo presenta la eliminación de variables para redes de creencias.

Lectura adicional

• Conrady S, Jouffe L (1 de julio de 2015). Redes bayesianas y BayesiaLab: una introducción práctica para investigadores. Franklin, Tennessee: Bayesian USA. ISBN 978-0-9965333-0-0.
• Charniak E (invierno de 1991). "Redes bayesianas sin lágrimas" (PDF) . AI Magazine .
• Kruse R, Borgelt C, Klawonn F, Moewes C, Steinbrecher M, Held P (2013). Inteligencia computacional Una introducción metodológica. Londres: Springer-Verlag. ISBN 978-1-4471-5012-1.
• Borgelt C, Steinbrecher M, Kruse R (2009). Modelos gráficos: representaciones para el aprendizaje, el razonamiento y la minería de datos (segunda edición). Chichester: Wiley. ISBN 978-0-470-74956-2.

Enlaces externos

• Introducción a las redes bayesianas y sus aplicaciones contemporáneas
• Tutorial en línea sobre redes bayesianas y probabilidad
• Aplicación web para crear redes bayesianas y ejecutarlas con un método de Monte Carlo
• Redes bayesianas de tiempo continuo
• Redes bayesianas: explicación y analogía
• Un tutorial en vivo sobre cómo aprender redes bayesianas
• Un modelo Bayes jerárquico para manejar la heterogeneidad de muestras en problemas de clasificación, proporciona un modelo de clasificación que toma en consideración la incertidumbre asociada con la medición de muestras replicadas.
• Modelo Bayes ingenuo jerárquico para manejar la incertidumbre de la muestra Archivado el 28 de septiembre de 2007 en Wayback Machine . Muestra cómo realizar la clasificación y el aprendizaje con variables continuas y discretas con mediciones replicadas.