Clasificador bayesiano ingenuo

Algoritmo de clasificación probabilística

Ejemplo de un clasificador Bayesiano ingenuo representado como una red bayesiana

En estadística , los clasificadores bayesianos ingenuos son una familia de " clasificadores probabilísticos " lineales que suponen que las características son condicionalmente independientes, dada la clase objetivo. La solidez (ingenuidad) de esta suposición es lo que le da al clasificador su nombre. Estos clasificadores se encuentran entre los modelos de red bayesiana más simples. ^[1]

Los clasificadores Naive Bayes son altamente escalables, y requieren una cantidad de parámetros lineal en la cantidad de variables (características/predictores) en un problema de aprendizaje. El entrenamiento de máxima verosimilitud se puede realizar evaluando una expresión de forma cerrada , ^{[2] : 718,} que requiere un tiempo lineal , en lugar de una aproximación iterativa costosa como la que se utiliza para muchos otros tipos de clasificadores.

En la literatura estadística , los modelos Bayesianos ingenuos se conocen con una variedad de nombres, incluidos Bayes simple y Bayes independiente . ^[3] Todos estos nombres hacen referencia al uso del teorema de Bayes en la regla de decisión del clasificador, pero Bayesiano ingenuo no es (necesariamente) un método bayesiano . ^{[2] [3]}

Introducción

El método Bayes ingenuo es una técnica sencilla para construir clasificadores: modelos que asignan etiquetas de clase a instancias de problemas, representadas como vectores de valores de características , donde las etiquetas de clase se extraen de un conjunto finito. No existe un algoritmo único para entrenar tales clasificadores, sino una familia de algoritmos basados ​​en un principio común: todos los clasificadores Bayes ingenuo suponen que el valor de una característica particular es independiente del valor de cualquier otra característica, dada la variable de clase. Por ejemplo, una fruta puede considerarse una manzana si es roja, redonda y tiene unos 10 cm de diámetro. Un clasificador Bayes ingenuo considera que cada una de estas características contribuye de forma independiente a la probabilidad de que esta fruta sea una manzana, independientemente de cualquier posible correlación entre las características de color, redondez y diámetro.

En muchas aplicaciones prácticas, la estimación de parámetros para modelos Bayesianos ingenuos utiliza el método de máxima verosimilitud ; en otras palabras, se puede trabajar con el modelo Bayesiano ingenuo sin aceptar la probabilidad bayesiana ni utilizar ningún método bayesiano.

A pesar de su diseño ingenuo y de sus supuestos aparentemente simplificados, los clasificadores bayesianos ingenuos han funcionado bastante bien en muchas situaciones complejas del mundo real. En 2004, un análisis del problema de clasificación bayesiano mostró que existen razones teóricas sólidas para la eficacia aparentemente inverosímil de los clasificadores bayesianos ingenuos. ^[4] Sin embargo, una comparación exhaustiva con otros algoritmos de clasificación en 2006 mostró que la clasificación bayesiana es superada por otros enfoques, como los árboles potenciados o los bosques aleatorios . ^[5]

Una ventaja del método Bayes ingenuo es que sólo requiere una pequeña cantidad de datos de entrenamiento para estimar los parámetros necesarios para la clasificación. ^[6]

Modelo probabilístico

En términos abstractos, el Bayes ingenuo es un modelo de probabilidad condicional : asigna probabilidades para cada uno de los K resultados o clases posibles dada una instancia del problema a clasificar, representada por un vector que codifica algunas n características (variables independientes). ^[7] ${\displaystyle p(C_{k}\mid x_{1},\ldots ,x_{n})}$ ${\displaystyle C_{k}}$ ${\displaystyle \mathbf {x} =(x_{1},\ldots ,x_{n})}$

El problema con la formulación anterior es que si el número de características n es grande o si una característica puede tomar un gran número de valores, entonces no es factible basar dicho modelo en tablas de probabilidad . Por lo tanto, el modelo debe reformularse para hacerlo más manejable. Utilizando el teorema de Bayes , la probabilidad condicional puede descomponerse como: $${\displaystyle p(C_{k}\mid \mathbf {x} )={\frac {p(C_{k})\ p(\mathbf {x} \mid C_{k})}{p(\mathbf {x} )}}\,}$$

En términos sencillos, utilizando la terminología de probabilidad bayesiana , la ecuación anterior se puede escribir como $${\displaystyle {\text{posterior}}={\frac {{\text{prior}}\times {\text{likelihood}}}{\text{evidence}}}\,}$$

En la práctica, sólo interesa el numerador de esa fracción, porque el denominador no depende de y los valores de las características están dados, de modo que el denominador es efectivamente constante. El numerador es equivalente al modelo de probabilidad conjunta que puede reescribirse de la siguiente manera, utilizando la regla de la cadena para aplicaciones repetidas de la definición de probabilidad condicional : ${\displaystyle C}$ ${\displaystyle x_{i}}$ $${\displaystyle p(C_{k},x_{1},\ldots ,x_{n})\,}$$ $${\displaystyle {\begin{aligned}p(C_{k},x_{1},\ldots ,x_{n})&=p(x_{1},\ldots ,x_{n},C_{k})\\&=p(x_{1}\mid x_{2},\ldots ,x_{n},C_{k})\ p(x_{2},\ldots ,x_{n},C_{k})\\&=p(x_{1}\mid x_{2},\ldots ,x_{n},C_{k})\ p(x_{2}\mid x_{3},\ldots ,x_{n},C_{k})\ p(x_{3},\ldots ,x_{n},C_{k})\\&=\cdots \\&=p(x_{1}\mid x_{2},\ldots ,x_{n},C_{k})\ p(x_{2}\mid x_{3},\ldots ,x_{n},C_{k})\cdots p(x_{n-1}\mid x_{n},C_{k})\ p(x_{n}\mid C_{k})\ p(C_{k})\\\end{aligned}}}$$

Ahora entran en juego los supuestos de independencia condicional "ingenuos": supongamos que todas las características de son mutuamente independientes , condicionadas a la categoría . Bajo este supuesto, ${\displaystyle \mathbf {x} }$ ${\displaystyle C_{k}}$ $${\displaystyle p(x_{i}\mid x_{i+1},\ldots ,x_{n},C_{k})=p(x_{i}\mid C_{k})\,.}$$

Por tanto, el modelo conjunto se puede expresar como donde denota proporcionalidad ya que se omite el denominador . $${\displaystyle {\begin{aligned}p(C_{k}\mid x_{1},\ldots ,x_{n})\varpropto \ &p(C_{k},x_{1},\ldots ,x_{n})\\&=p(C_{k})\ p(x_{1}\mid C_{k})\ p(x_{2}\mid C_{k})\ p(x_{3}\mid C_{k})\ \cdots \\&=p(C_{k})\prod _{i=1}^{n}p(x_{i}\mid C_{k})\,,\end{aligned}}}$$ ${\displaystyle \varpropto }$ ${\displaystyle p(\mathbf {x} )}$

Esto significa que, bajo los supuestos de independencia anteriores, la distribución condicional sobre la variable de clase es: donde la evidencia es un factor de escala que depende solo de , es decir, una constante si se conocen los valores de las variables características. ${\displaystyle C}$ $${\displaystyle p(C_{k}\mid x_{1},\ldots ,x_{n})={\frac {1}{Z}}\ p(C_{k})\prod _{i=1}^{n}p(x_{i}\mid C_{k})}$$ ${\displaystyle Z=p(\mathbf {x} )=\sum _{k}p(C_{k})\ p(\mathbf {x} \mid C_{k})}$ ${\displaystyle x_{1},\ldots ,x_{n}}$

Construcción de un clasificador a partir del modelo de probabilidad

Hasta ahora, la discusión ha derivado en el modelo de características independientes, es decir, el modelo de probabilidad de Bayes ingenuo . El clasificador de Bayes ingenuo combina este modelo con una regla de decisión . Una regla común es elegir la hipótesis que sea más probable para minimizar la probabilidad de clasificación errónea; esto se conoce como la regla de decisión máxima a posteriori o MAP . El clasificador correspondiente, un clasificador de Bayes , es la función que asigna una etiqueta de clase para algún k de la siguiente manera: ${\displaystyle {\hat {y}}=C_{k}}$ $${\displaystyle {\hat {y}}={\underset {k\in \{1,\ldots ,K\}}{\operatorname {argmax} }}\ p(C_{k})\displaystyle \prod _{i=1}^{n}p(x_{i}\mid C_{k}).}$$

Funciones de verosimilitud , Matriz de confusión y curva ROC . Para el clasificador bayesiano ingenuo y dado que las probabilidades a priori son las mismas para todas las clases, entonces el límite de decisión (línea verde) se colocaría en el punto donde se intersecan las dos densidades de probabilidad, debido a . ${\displaystyle p(\mathbf {x} \mid Y)}$ ${\displaystyle p(Y)}$ ${\displaystyle p(Y\mid \mathbf {x} )={\frac {p(Y)\ p(\mathbf {x} \mid Y)}{p(\mathbf {x} )}}\propto p(\mathbf {x} \mid Y)}$

Estimación de parámetros y modelos de eventos

La probabilidad previa de una clase se puede calcular asumiendo clases equiprobables, es decir , o calculando una estimación para la probabilidad de clase a partir del conjunto de entrenamiento: Para estimar los parámetros para la distribución de una característica, uno debe asumir una distribución o generar modelos no paramétricos para las características a partir del conjunto de entrenamiento. ^[8] ${\displaystyle p(C_{k})={\frac {1}{K}}}$ $${\displaystyle {\text{prior for a given class}}={\frac {\text{no. of samples in that class}}{\text{total no. of samples}}}\,}$$

Las suposiciones sobre las distribuciones de características se denominan "modelo de eventos" del clasificador bayesiano ingenuo. Para características discretas como las que se encuentran en la clasificación de documentos (incluido el filtrado de spam), las distribuciones multinomiales y de Bernoulli son populares. Estas suposiciones conducen a dos modelos distintos, que a menudo se confunden. ^{[9] [10]}

Bayes ingenuo gaussiano

Cuando se trabaja con datos continuos, una suposición típica es que los valores continuos asociados con cada clase se distribuyen de acuerdo con una distribución normal (o gaussiana). Por ejemplo, supongamos que los datos de entrenamiento contienen un atributo continuo, . Primero, los datos se segmentan por clase y, a continuación, se calcula la media y la varianza de en cada clase. Sea la media de los valores en asociados con la clase , y sea la varianza corregida por Bessel de los valores en asociados con la clase . Supongamos que se ha recopilado algún valor de observación . Entonces, la densidad de probabilidad de dada una clase , es decir, , se puede calcular introduciendo en la ecuación una distribución normal parametrizada por y . Formalmente, ${\displaystyle x}$ ${\displaystyle x}$ ${\displaystyle \mu _{k}}$ ${\displaystyle x}$ ${\displaystyle C_{k}}$ ${\displaystyle \sigma _{k}^{2}}$ ${\displaystyle x}$ ${\displaystyle C_{k}}$ ${\displaystyle v}$ ${\displaystyle v}$ ${\displaystyle C_{k}}$ ${\displaystyle p(x=v\mid C_{k})}$ ${\displaystyle v}$ ${\displaystyle \mu _{k}}$ ${\displaystyle \sigma _{k}^{2}}$ $${\displaystyle p(x=v\mid C_{k})={\frac {1}{\sqrt {2\pi \sigma _{k}^{2}}}}\,e^{-{\frac {(v-\mu _{k})^{2}}{2\sigma _{k}^{2}}}}}$$

Otra técnica común para manejar valores continuos es usar binning para discretizar los valores de las características y obtener un nuevo conjunto de características distribuidas según Bernoulli. Algunas publicaciones sugieren que esto es necesario para usar el algoritmo Bayes ingenuo, pero no es cierto, ya que la discretización puede descartar información discriminativa . ^[3]

En ocasiones, la distribución de las densidades marginales condicionales de clase dista mucho de ser normal. En estos casos, se puede utilizar la estimación de la densidad kernel para obtener una estimación más realista de las densidades marginales de cada clase. Este método, introducido por John y Langley ^[8], puede aumentar considerablemente la precisión del clasificador. ^{[11] [12]}

Bayes ingenuo multinomial

Con un modelo de evento multinomial, las muestras (vectores de características) representan las frecuencias con las que ciertos eventos han sido generados por un multinomial donde es la probabilidad de que ocurra el evento i (o K multinomiales de este tipo en el caso multiclase). Un vector de características es entonces un histograma , con conteo del número de veces que se observó el evento i en una instancia particular. Este es el modelo de evento que se usa típicamente para la clasificación de documentos, con eventos que representan la ocurrencia de una palabra en un solo documento (ver el supuesto de bolsa de palabras ). La probabilidad de observar un histograma x viene dada por: donde . ${\displaystyle (p_{1},\dots ,p_{n})}$ ${\displaystyle p_{i}}$ ${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{n})}$ ${\displaystyle x_{i}}$ $${\displaystyle p(\mathbf {x} \mid C_{k})={\frac {(\sum _{i=1}^{n}x_{i})!}{\prod _{i=1}^{n}x_{i}!}}\prod _{i=1}^{n}{p_{ki}}^{x_{i}}}$$ ${\displaystyle p_{ki}:=p(i\mid C_{k})}$

El clasificador bayesiano ingenuo multinomial se convierte en un clasificador lineal cuando se expresa en el espacio logarítmico: ^[13] donde y . La estimación de los parámetros en el espacio logarítmico es ventajosa, ya que multiplicar una gran cantidad de valores pequeños puede generar un error de redondeo significativo. La aplicación de una transformación logarítmica reduce el efecto de este error de redondeo. $${\displaystyle {\begin{aligned}\log p(C_{k}\mid \mathbf {x} )&\varpropto \log \left(p(C_{k})\prod _{i=1}^{n}{p_{ki}}^{x_{i}}\right)\\&=\log p(C_{k})+\sum _{i=1}^{n}x_{i}\cdot \log p_{ki}\\&=b+\mathbf {w} _{k}^{\top }\mathbf {x} \end{aligned}}}$$ ${\displaystyle b=\log p(C_{k})}$ ${\displaystyle w_{ki}=\log p_{ki}}$

Si una clase dada y un valor de característica nunca ocurren juntos en los datos de entrenamiento, entonces la estimación de probabilidad basada en frecuencia será cero, porque la estimación de probabilidad es directamente proporcional al número de ocurrencias del valor de una característica. Esto es problemático porque eliminará toda la información en las otras probabilidades cuando se multiplican. Por lo tanto, a menudo es deseable incorporar una corrección de muestra pequeña, llamada pseudocount , en todas las estimaciones de probabilidad de modo que ninguna probabilidad se establezca nunca como exactamente cero. Esta forma de regularizar Bayes ingenuo se llama suavizado de Laplace cuando el pseudocount es uno, y suavizado de Lidstone en el caso general.

Rennie et al. analizan los problemas con el supuesto multinomial en el contexto de la clasificación de documentos y las posibles formas de aliviar esos problemas, incluido el uso de pesos tf-idf en lugar de frecuencias de términos sin procesar y la normalización de la longitud del documento, para producir un clasificador Bayes ingenuo que sea competitivo con las máquinas de vectores de soporte . ^[13]

Bayes ingenuo de Bernoulli

En el modelo de eventos Bernoulli multivariado, las características son variables booleanas independientes ( variables binarias ) que describen entradas. Al igual que el modelo multinomial, este modelo es popular para tareas de clasificación de documentos, ^[9] donde se utilizan características de ocurrencia de términos binarios en lugar de frecuencias de términos. Si es un booleano que expresa la ocurrencia o ausencia del término i 'ésimo del vocabulario, entonces la probabilidad de que un documento dada una clase esté dada por: ^[9] donde es la probabilidad de que la clase genere el término . Este modelo de eventos es especialmente popular para clasificar textos cortos. Tiene el beneficio de modelar explícitamente la ausencia de términos. Tenga en cuenta que un clasificador Bayes ingenuo con un modelo de eventos Bernoulli no es lo mismo que un clasificador NB multinomial con recuentos de frecuencia truncados a uno. ${\displaystyle x_{i}}$ ${\displaystyle C_{k}}$ $${\displaystyle p(\mathbf {x} \mid C_{k})=\prod _{i=1}^{n}p_{ki}^{x_{i}}(1-p_{ki})^{(1-x_{i})}}$$ ${\displaystyle p_{ki}}$ ${\displaystyle C_{k}}$ ${\displaystyle x_{i}}$

Estimación de parámetros semisupervisada

Dada una forma de entrenar un clasificador Bayes ingenuo a partir de datos etiquetados, es posible construir un algoritmo de entrenamiento semisupervisado que pueda aprender de una combinación de datos etiquetados y no etiquetados ejecutando el algoritmo de aprendizaje supervisado en un bucle: ^[14]

1. Dada una colección de muestras etiquetadas L y muestras no etiquetadas U , comience por entrenar un clasificador Bayes ingenuo en L . ${\displaystyle D=L\uplus U}$
2. Hasta la convergencia, hacer:
   1. Predecir probabilidades de clase para todos los ejemplos x en . ${\displaystyle P(C\mid x)}$ ${\displaystyle D}$
   2. Vuelva a entrenar el modelo en función de las probabilidades (no de las etiquetas) previstas en el paso anterior.

La convergencia se determina en función de la mejora de la probabilidad del modelo , donde denota los parámetros del modelo Bayes ingenuo. ${\displaystyle P(D\mid \theta )}$ ${\displaystyle \theta }$

Este algoritmo de entrenamiento es una instancia del algoritmo de expectativa-maximización (EM) más general: el paso de predicción dentro del bucle es el paso E de EM, mientras que el reentrenamiento de Bayes ingenuo es el paso M. El algoritmo se justifica formalmente por la suposición de que los datos son generados por un modelo de mezcla , y los componentes de este modelo de mezcla son exactamente las clases del problema de clasificación. ^[14]

Discusión

A pesar de que las suposiciones de independencia de largo alcance a menudo son inexactas, el clasificador Bayes ingenuo tiene varias propiedades que lo hacen sorprendentemente útil en la práctica. En particular, el desacoplamiento de las distribuciones de características condicionales de clase significa que cada distribución puede estimarse independientemente como una distribución unidimensional. Esto ayuda a aliviar los problemas derivados de la maldición de la dimensionalidad , como la necesidad de conjuntos de datos que escalen exponencialmente con el número de características. Si bien el Bayes ingenuo a menudo no produce una buena estimación para las probabilidades de clase correctas, ^[15] esto puede no ser un requisito para muchas aplicaciones. Por ejemplo, el clasificador Bayes ingenuo realizará la clasificación de regla de decisión MAP correcta siempre que se prediga que la clase correcta es más probable que cualquier otra clase. Esto es cierto independientemente de si la estimación de probabilidad es ligeramente o incluso groseramente inexacta. De esta manera, el clasificador general puede ser lo suficientemente robusto como para ignorar deficiencias graves en su modelo de probabilidad ingenuo subyacente. ^[16] Otras razones para el éxito observado del clasificador Bayes ingenuo se analizan en la literatura citada a continuación.

Relación con la regresión logística

En el caso de entradas discretas (indicadores o características de frecuencia para eventos discretos), los clasificadores Bayes ingenuos forman un par generativo-discriminativo con los clasificadores de regresión logística multinomial : cada clasificador Bayes ingenuo puede considerarse una forma de ajustar un modelo de probabilidad que optimiza la probabilidad conjunta , mientras que la regresión logística ajusta el mismo modelo de probabilidad para optimizar la probabilidad condicional . ^[17] ${\displaystyle p(C,\mathbf {x} )}$ ${\displaystyle p(C\mid \mathbf {x} )}$

De manera más formal tenemos lo siguiente:

Teorema  :  Los clasificadores de Bayes ingenuo sobre características binarias son absorbidos por los clasificadores de regresión logística.

Prueba

Consideremos un problema genérico de clasificación multiclase, con posibles clases , entonces el clasificador de Bayes (no ingenuo) da, por el teorema de Bayes: ${\displaystyle Y\in \{1,...,n\}}$ $${\displaystyle p(Y\mid X=x)={\text{softmax}}(\{\ln p(Y=k)+\ln p(X=x\mid Y=k)\}_{k})}$$

El clasificador ingenuo de Bayes da donde $${\displaystyle {\text{softmax}}\left(\left\{\ln p(Y=k)+{\frac {1}{2}}\sum _{i}(a_{i,k}^{+}-a_{i,k}^{-})x_{i}+(a_{i,k}^{+}+a_{i,k}^{-})\right\}_{k}\right)}$$ $${\displaystyle a_{i,s}^{+}=\ln p(X_{i}=+1\mid Y=s);\quad a_{i,s}^{-}=\ln p(X_{i}=-1\mid Y=s)}$$

Este es exactamente un clasificador de regresión logística.

El vínculo entre ambos se puede ver observando que la función de decisión para el caso bayesiano ingenuo (en el caso binario) se puede reescribir como "predecir la clase si las probabilidades de superan las de ". Expresando esto en el espacio logarítmico se obtiene: ${\displaystyle C_{1}}$ ${\displaystyle p(C_{1}\mid \mathbf {x} )}$ ${\displaystyle p(C_{2}\mid \mathbf {x} )}$ $${\displaystyle \log {\frac {p(C_{1}\mid \mathbf {x} )}{p(C_{2}\mid \mathbf {x} )}}=\log p(C_{1}\mid \mathbf {x} )-\log p(C_{2}\mid \mathbf {x} )>0}$$

El lado izquierdo de esta ecuación es el log-odds, o logit , la cantidad predicha por el modelo lineal que sustenta la regresión logística. Dado que el método Bayes ingenuo también es un modelo lineal para los dos modelos de eventos "discretos", se puede repararmetrizar como una función lineal . Obtener las probabilidades es entonces una cuestión de aplicar la función logística a , o en el caso de clases múltiples, la función softmax . ${\displaystyle b+\mathbf {w} ^{\top }x>0}$ ${\displaystyle b+\mathbf {w} ^{\top }x}$

Los clasificadores discriminativos tienen un error asintótico menor que los generativos; sin embargo, la investigación de Ng y Jordan ha demostrado que en algunos casos prácticos el Bayes ingenuo puede superar a la regresión logística porque alcanza su error asintótico más rápido. ^[17]

Ejemplos

Clasificación de personas

Problema: clasificar si una persona determinada es hombre o mujer en función de las características medidas. Las características incluyen altura, peso y tamaño del pie. Aunque con el clasificador NB las tratamos como independientes, en realidad no lo son.

Capacitación

A continuación se muestra un ejemplo de conjunto de entrenamiento.

El clasificador creado a partir del conjunto de entrenamiento utilizando un supuesto de distribución gaussiana sería (dadas las varianzas son varianzas de muestra imparciales ):

El siguiente ejemplo supone clases equiprobables, de modo que P(hombre) = P(mujer) = 0,5. Esta distribución de probabilidad previa podría basarse en el conocimiento previo de las frecuencias en la población más grande o en el conjunto de entrenamiento.

Pruebas

A continuación se muestra una muestra para clasificar como masculino o femenino.

Para clasificar la muestra, hay que determinar qué posterior es mayor, masculino o femenino. Para la clasificación como masculino el posterior viene dado por $${\displaystyle {\text{posterior (male)}}={\frac {P({\text{male}})\,p({\text{height}}\mid {\text{male}})\,p({\text{weight}}\mid {\text{male}})\,p({\text{foot size}}\mid {\text{male}})}{\text{evidence}}}}$$

Para la clasificación como hembra el posterior viene dado por $${\displaystyle {\text{posterior (female)}}={\frac {P({\text{female}})\,p({\text{height}}\mid {\text{female}})\,p({\text{weight}}\mid {\text{female}})\,p({\text{foot size}}\mid {\text{female}})}{\text{evidence}}}}$$

La evidencia (también denominada constante normalizadora) puede calcularse: $${\displaystyle {\begin{aligned}{\text{evidence}}=P({\text{male}})\,p({\text{height}}\mid {\text{male}})\,p({\text{weight}}\mid {\text{male}})\,p({\text{foot size}}\mid {\text{male}})\\+P({\text{female}})\,p({\text{height}}\mid {\text{female}})\,p({\text{weight}}\mid {\text{female}})\,p({\text{foot size}}\mid {\text{female}})\end{aligned}}}$$

Sin embargo, dada la muestra, la evidencia es constante y, por lo tanto, escala ambas probabilidades posteriores por igual. Por lo tanto, no afecta la clasificación y se puede ignorar. Ahora se puede determinar la distribución de probabilidad para el sexo de la muestra: donde y son los parámetros de la distribución normal que se han determinado previamente a partir del conjunto de entrenamiento. Tenga en cuenta que un valor mayor que 1 es aceptable en este caso: es una densidad de probabilidad en lugar de una probabilidad, porque la altura es una variable continua. $${\displaystyle P({\text{male}})=0.5}$$ $${\displaystyle p({\text{height}}\mid {\text{male}})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left({\frac {-(6-\mu )^{2}}{2\sigma ^{2}}}\right)\approx 1.5789,}$$ ${\displaystyle \mu =5.855}$ ${\displaystyle \sigma ^{2}=3.5033\cdot 10^{-2}}$

$${\displaystyle p({\text{weight}}\mid {\text{male}})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left({\frac {-(130-\mu )^{2}}{2\sigma ^{2}}}\right)=5.9881\cdot 10^{-6}}$$ $${\displaystyle p({\text{foot size}}\mid {\text{male}})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left({\frac {-(8-\mu )^{2}}{2\sigma ^{2}}}\right)=1.3112\cdot 10^{-3}}$$ $${\displaystyle {\text{posterior numerator (male)}}={\text{their product}}=6.1984\cdot 10^{-9}}$$

$${\displaystyle P({\text{female}})=0.5}$$ $${\displaystyle p({\text{height}}\mid {\text{female}})=2.23\cdot 10^{-1}}$$ $${\displaystyle p({\text{weight}}\mid {\text{female}})=1.6789\cdot 10^{-2}}$$ $${\displaystyle p({\text{foot size}}\mid {\text{female}})=2.8669\cdot 10^{-1}}$$ $${\displaystyle {\text{posterior numerator (female)}}={\text{their product}}=5.3778\cdot 10^{-4}}$$

Como el numerador posterior es mayor en el caso femenino, la predicción es que la muestra es femenina.

Clasificación de documentos

A continuación se presenta un ejemplo práctico de clasificación bayesiana ingenua para el problema de clasificación de documentos . Considere el problema de clasificar documentos por su contenido, por ejemplo, en correos electrónicos spam y no spam . Imagine que los documentos se extraen de una serie de clases de documentos que se pueden modelar como conjuntos de palabras donde la probabilidad (independiente) de que la i-ésima palabra de un documento dado aparezca en un documento de la clase C se puede escribir como $${\displaystyle p(w_{i}\mid C)\,}$$

(Para este tratamiento, las cosas se simplifican aún más al suponer que las palabras están distribuidas aleatoriamente en el documento, es decir, las palabras no dependen de la longitud del documento, de su posición dentro del documento en relación con otras palabras o de otro contexto del documento).

Entonces la probabilidad de que un documento dado D contenga todas las palabras , dada una clase C , es ${\displaystyle w_{i}}$ $${\displaystyle p(D\mid C)=\prod _{i}p(w_{i}\mid C)\,}$$

La pregunta que hay que responder es: "¿cuál es la probabilidad de que un documento dado D pertenezca a una clase dada C ?" En otras palabras, ¿cuál es ? ${\displaystyle p(C\mid D)\,}$

Ahora bien, por definición y $${\displaystyle p(D\mid C)={p(D\cap C) \over p(C)}}$$ $${\displaystyle p(C\mid D)={p(D\cap C) \over p(D)}}$$

El teorema de Bayes manipula estos factores para transformarlos en una declaración de probabilidad en términos de verosimilitud . $${\displaystyle p(C\mid D)={\frac {p(C)\,p(D\mid C)}{p(D)}}}$$

Supongamos por el momento que sólo hay dos clases mutuamente excluyentes, S y ¬ S (por ejemplo, spam y no spam), de modo que cada elemento (correo electrónico) está en una o en la otra; y $${\displaystyle p(D\mid S)=\prod _{i}p(w_{i}\mid S)\,}$$ $${\displaystyle p(D\mid \neg S)=\prod _{i}p(w_{i}\mid \neg S)\,}$$

Utilizando el resultado bayesiano anterior, se puede escribir: $${\displaystyle p(S\mid D)={p(S) \over p(D)}\,\prod _{i}p(w_{i}\mid S)}$$ $${\displaystyle p(\neg S\mid D)={p(\neg S) \over p(D)}\,\prod _{i}p(w_{i}\mid \neg S)}$$

Dividiendo uno por el otro obtenemos: $${\displaystyle {p(S\mid D) \over p(\neg S\mid D)}={p(S)\,\prod _{i}p(w_{i}\mid S) \over p(\neg S)\,\prod _{i}p(w_{i}\mid \neg S)}}$$

Lo cual puede refactorizarse como: $${\displaystyle {p(S\mid D) \over p(\neg S\mid D)}={p(S) \over p(\neg S)}\,\prod _{i}{p(w_{i}\mid S) \over p(w_{i}\mid \neg S)}}$$

Por lo tanto, la razón de probabilidad p( S | D ) / p(¬ S | D ) se puede expresar en términos de una serie de razones de verosimilitud . La probabilidad real p( S | D ) se puede calcular fácilmente a partir de log (p( S | D ) / p(¬ S | D )) basándose en la observación de que p( S | D ) + p(¬ S | D ) = 1.

Tomando el logaritmo de todas estas razones, se obtiene: $${\displaystyle \ln {p(S\mid D) \over p(\neg S\mid D)}=\ln {p(S) \over p(\neg S)}+\sum _{i}\ln {p(w_{i}\mid S) \over p(w_{i}\mid \neg S)}}$$

(Esta técnica de " razones de verosimilitud logarítmica " es una técnica común en estadística. En el caso de dos alternativas mutuamente excluyentes (como este ejemplo), la conversión de un razón de verosimilitud logarítmica en una probabilidad toma la forma de una curva sigmoidea : véase logit para más detalles.)

Finalmente, el documento puede clasificarse de la siguiente manera: es spam si (es decir, ), en caso contrario no es spam. ${\displaystyle p(S\mid D)>p(\neg S\mid D)}$ ${\displaystyle \ln {p(S\mid D) \over p(\neg S\mid D)}>0}$

Véase también

• ODEA
• Clasificador de Bayes
• Filtrado de spam bayesiano
• Red bayesiana
• Bayes ingenuo aleatorio
• Clasificador lineal
• Regresión logística
• Perceptrón
• Heurística de tomar lo mejor

Referencias

1. McCallum, Andrew. "Modelos gráficos, lección 2: representación de redes bayesianas" (PDF) . Archivado (PDF) desde el original el 2022-10-09 . Consultado el 22 de octubre de 2019 .
2. Russell, Stuart ; Norvig, Peter (2003) [1995]. Inteligencia artificial: un enfoque moderno (2.ª ed.). Prentice Hall. ISBN 978-0137903955.
3. Hand, DJ; Yu, K. (2001). "Bayes del idiota: ¿no es tan estúpido después de todo?". International Statistical Review . 69 (3): 385–399. doi :10.2307/1403452. ISSN  0306-7734. JSTOR  1403452.
4. Zhang, Harry. La optimalidad del método Bayes ingenuo (PDF) . Conferencia FLAIRS2004.
5. Caruana, R.; Niculescu-Mizil, A. (2006). Una comparación empírica de algoritmos de aprendizaje supervisado . Proc. 23.ª Conferencia Internacional sobre Aprendizaje Automático. CiteSeerX 10.1.1.122.5901 . 
6. "¿Por qué funciona mejor Naive Bayes cuando la cantidad de características es mayor que el tamaño de la muestra en comparación con algoritmos ML más sofisticados?". Cross Validated Stack Exchange . Consultado el 24 de enero de 2023 .
7. Narasimha Murty, M.; Susheela Devi, V. (2011). Reconocimiento de patrones: un enfoque algorítmico . ISBN 978-0857294944.
8. John, George H.; Langley, Pat (1995). Estimación de distribuciones continuas en clasificadores bayesianos. Proc. Undécima Conferencia sobre Incertidumbre en Inteligencia Artificial. Morgan Kaufmann. págs. 338–345. arXiv : 1302.4964 .
9. McCallum, Andrew; Nigam, Kamal (1998). Una comparación de modelos de eventos para la clasificación de textos Naive Bayes (PDF) . Taller AAAI-98 sobre aprendizaje para la categorización de textos. Vol. 752. Archivado (PDF) desde el original el 2022-10-09.
10. Metsis, Vangelis; Androutsopoulos, Ion; Paliouras, Georgios (2006). Filtrado de spam con Naive Bayes: ¿cuál Naive Bayes?. Tercera conferencia sobre correo electrónico y antispam (CEAS). Vol. 17.
11. Piryonesi, S. Madeh; El-Diraby, Tamer E. (1 de junio de 2020). "El papel del análisis de datos en la gestión de activos de infraestructura: cómo superar los problemas de tamaño y calidad de los datos". Journal of Transportation Engineering, Parte B: Pavements . 146 (2): 04020022. doi :10.1061/JPEODX.0000175. S2CID  216485629.
12. Hastie, Trevor. (2001). Los elementos del aprendizaje estadístico: minería de datos, inferencia y predicción: con 200 ilustraciones a todo color . Tibshirani, Robert., Friedman, JH (Jerome H.). Nueva York: Springer. ISBN 0-387-95284-5.OCLC 46809224  .
13. Rennie, J.; Shih, L.; Teevan, J.; Karger, D. (2003). Abordar las suposiciones deficientes de los clasificadores bayesianos ingenuos (PDF) . ICML. Archivado (PDF) desde el original el 2022-10-09.
14. Nigam, Kamal; McCallum, Andrew; Thrun, Sebastian; Mitchell, Tom (2000). "Aprendiendo a clasificar texto de documentos etiquetados y no etiquetados usando EM" (PDF) . Machine Learning . 39 (2/3): 103–134. doi : 10.1023/A:1007692713085 . S2CID  686980. Archivado (PDF) desde el original el 2022-10-09.
15. Niculescu-Mizil, Alexandru; Caruana, Rich (2005). Predicción de buenas probabilidades con aprendizaje supervisado (PDF) . ICML. doi :10.1145/1102351.1102430. Archivado desde el original (PDF) el 2014-03-11 . Consultado el 2016-04-24 .
16. Rish, Irina (2001). Un estudio empírico del clasificador bayesiano ingenuo (PDF) . Taller del IJCAI sobre métodos empíricos en IA. Archivado (PDF) desde el original el 9 de octubre de 2022.
17. Ng, Andrew Y .; Jordan, Michael I. (2002). Sobre clasificadores discriminativos y generativos: una comparación entre regresión logística y Bayes ingenuo. NIPS . Vol. 14.

Lectura adicional

• Domingos, Pedro; Pazzani, Michael (1997). "Sobre la optimalidad del clasificador bayesiano simple bajo pérdida cero-uno". Machine Learning . 29 (2/3): 103–137. doi : 10.1023/A:1007413511361 .
• Webb, GI; Boughton, J.; Wang, Z. (2005). "Bayes no tan ingenuo: agregación de estimadores de una dependencia". Aprendizaje automático . 58 (1): 5–24. doi : 10.1007/s10994-005-4258-6 .
• Mozina, M.; Demsar, J.; Kattan, M.; Zupan, B. (2004). Nomogramas para la visualización de clasificadores bayesianos ingenuos (PDF) . Proc. PKDD-2004. págs. 337–348.
• Maron, ME (1961). "Indexación automática: una investigación experimental". Revista de la ACM . 8 (3): 404–417. doi :10.1145/321075.321084. hdl : 2027/uva.x030748531 . S2CID  6692916.
• Minsky, M. (1961). Pasos hacia la inteligencia artificial . Proc. IRE. Vol. 49. págs. 8–30.

Enlaces externos

• Capítulo de libro: Clasificación de textos mediante Naive Bayes, Introducción a la recuperación de información
• Bayes ingenuo para la clasificación de textos con clases no balanceadas