Tasa de error de Bayes

En la clasificación estadística , la tasa de error de Bayes es la tasa de error más baja posible para cualquier clasificador de un resultado aleatorio (en, por ejemplo, una de dos categorías) y es análoga al error irreducible. ^{[1] [2]}

Existen varios métodos para estimar la tasa de error de Bayes. Un método busca obtener límites analíticos que dependen inherentemente de los parámetros de distribución y, por lo tanto, son difíciles de estimar. Otro método se centra en las densidades de clases, mientras que otro método combina y compara varios clasificadores. ^[2]

La tasa de error de Bayes encuentra un uso importante en el estudio de patrones y técnicas de aprendizaje automático . ^[3]

Determinación de errores

En términos de aprendizaje automático y clasificación de patrones, las etiquetas de un conjunto de observaciones aleatorias se pueden dividir en 2 o más clases. Cada observación se denomina instancia y la clase a la que pertenece es la etiqueta . La tasa de error de Bayes de la distribución de datos es la probabilidad de que una instancia sea clasificada erróneamente por un clasificador que conoce las probabilidades de clase verdaderas dados los predictores.

Para un clasificador multiclase , el error de predicción esperado se puede calcular de la siguiente manera: ^[3]

${\displaystyle EPE=E_{x}[\sum _{k=1}^{K}L(C_{k},{\hat {C}}(x))P(C_{k}|x)]}$

donde x es la instancia, el valor esperado, C _k es una clase en la que se clasifica una instancia, P(C _k |x) es la probabilidad condicional de la etiqueta k para la instancia x , y L() es la función de pérdida 0-1: ${\displaystyle E[]}$

${\displaystyle L(x,y)=1-\delta _{x,y}={\begin{cases}0&{\text{if }}x=y\\1&{\text{if }}x\neq y\end{cases}},}$

¿Dónde está el delta de Kronecker ? ${\displaystyle \delta _{x,y}}$

Cuando el alumno conoce la probabilidad condicional, entonces una solución es:

${\displaystyle {\hat {C}}_{B}(x)=\arg \max _{k\in \{1...K\}}P(C_{k}|X=x)}$

Esta solución se conoce como clasificador de Bayes.

El error de predicción esperado correspondiente se denomina tasa de error de Bayes:

${\displaystyle BE=E_{x}[\sum _{k=1}^{K}L(C_{k},{\hat {C}}_{B}(x))P(C_{k}|x)]=E_{x}[\sum _{k=1,\ C_{k}\neq {\hat {C}}_{B}(x)}^{K}P(C_{k}|x)]=E_{x}[1-P({\hat {C}}_{B}(x)|x)]}$,

donde la suma puede omitirse en el último paso debido a que se considera el evento de contador. Por definición del clasificador de Bayes, maximiza y, por lo tanto, minimiza el error de Bayes BE. ${\displaystyle P({\hat {C}}_{B}(x)|x)}$

El error de Bayes no es cero si las etiquetas de clasificación no son deterministas, es decir, existe una probabilidad distinta de cero de que una instancia dada pertenezca a más de una clase. ^[4] En un contexto de regresión con error al cuadrado, el error de Bayes es igual a la varianza del ruido. ^[3]

Prueba de minimalidad

La prueba de que la tasa de error de Bayes es de hecho la mínima posible y que, por lo tanto, el clasificador de Bayes es óptimo, se puede encontrar en la página de Wikipedia Clasificador Bayes .

Reglas de complementos para clasificadores binarios

Una regla de complemento utiliza una estimación de la probabilidad posterior para formar una regla de clasificación. Dada una estimación , la tasa de error bayesiano excedente del clasificador asociado está limitada por encima de: ${\displaystyle \eta }$ ${\displaystyle {\tilde {\eta }}}$

$${\displaystyle 2\mathbb {E} [|\eta (X)-{\tilde {\eta }}(X)|].}$$

Para comprobarlo, observe que el error bayesiano en exceso es igual a 0 cuando los clasificadores coinciden y es igual a 0 cuando no coinciden. Para formar el límite, observe que es al menos tan amplio como cuando los clasificadores no coinciden. ${\displaystyle 2|\eta (X)-1/2|}$ ${\displaystyle {\tilde {\eta }}}$ ${\displaystyle 1/2}$

Véase también

• Clasificador bayesiano ingenuo

Referencias

1. Fukunaga, Keinosuke (1990). Introducción al reconocimiento estadístico de patrones . pp. 3, 97. ISBN 0122698517.
2. K. Tumer, K. (1996) "Estimación de la tasa de error de Bayes mediante la combinación de clasificadores" en Actas de la 13.ª Conferencia internacional sobre reconocimiento de patrones , volumen 2, 695-699
3. Hastie, Trevor (2009). Los elementos del aprendizaje estadístico (2.ª ed.). Springer. pág. 21. ISBN 978-0387848570.
4. Mohri, Mehryar ; Rostamizadeh, Afshin; Talwalkar, Ameet (2018). Fundamentos del aprendizaje automático (2ª ed.). pag. 22.