Regla de decisión admisible

Tipo de regla de decisión "buena" en la estadística bayesiana

En teoría de la decisión estadística , una regla de decisión admisible es una regla para tomar una decisión tal que no existe otra regla que sea siempre "mejor" que ella ^[1] (o al menos a veces mejor y nunca peor), en el sentido preciso de "mejor" se define a continuación. Este concepto es análogo a la eficiencia de Pareto .

Definición

Definir conjuntos , y , donde están los estados de la naturaleza, las posibles observaciones y las acciones que se pueden tomar. Una observación de se distribuye como y por tanto proporciona evidencia sobre el estado de naturaleza . Una regla de decisión es una función en la que, al observarla , elegimos actuar . ${\displaystyle \Theta \,}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle {\mathcal {A}}}$ ${\displaystyle \Theta \,}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle {\mathcal {A}}}$ ${\displaystyle x\in {\mathcal {X}}\,\!}$ ${\displaystyle F(x\mid \theta )\,\!}$ ${\displaystyle \theta \in \Theta \,\!}$ ${\displaystyle \delta :{\mathcal {X}}\rightarrow {\mathcal {A}}}$ ${\displaystyle x\in {\mathcal {X}}}$ ${\displaystyle \delta (x)\in {\mathcal {A}}\,\!}$

Defina también una función de pérdida , que especifique la pérdida en la que incurriríamos al actuar cuando el verdadero estado de naturaleza es . Generalmente tomaremos esta acción después de observar los datos , por lo que la pérdida será . (Es posible, aunque poco convencional, reformular las siguientes definiciones en términos de una función de utilidad , que es la negativa de la pérdida). ${\displaystyle L:\Theta \times {\mathcal {A}}\rightarrow \mathbb {R} }$ ${\displaystyle a\in {\mathcal {A}}}$ ${\displaystyle \theta \in \Theta }$ ${\displaystyle x\in {\mathcal {X}}}$ ${\displaystyle L(\theta ,\delta (x))\,\!}$

Definir la función de riesgo como la expectativa.

${\displaystyle R(\theta ,\delta )=\operatorname {E} _{F(x\mid \theta )}[{L(\theta ,\delta (x))]}.\,\!}$

Que una regla de decisión tenga un riesgo bajo depende del verdadero estado de naturaleza . Una regla de decisión domina a otra regla de decisión si y sólo si para todos , y la desigualdad es estricta para algunos . ${\displaystyle \delta \,\!}$ ${\displaystyle \theta \,\!}$ ${\displaystyle \delta ^{*}\,\!}$ ${\displaystyle \delta \,\!}$ ${\displaystyle R(\theta ,\delta ^{*})\leq R(\theta ,\delta )}$ ${\displaystyle \theta \,\!}$ ${\displaystyle \theta \,\!}$

Una regla de decisión es admisible (con respecto a la función de pérdida) si y sólo si ninguna otra regla la domina; de lo contrario es inadmisible . Por tanto, una regla de decisión admisible es un elemento máximo con respecto al orden parcial anterior. No se prefiere una regla inadmisible (salvo por razones de simplicidad o eficiencia computacional), ya que por definición existe alguna otra regla que logrará igual o menor riesgo para todos . Pero el hecho de que una norma sea admisible no significa que sea una buena norma utilizarla. Ser admisible significa que no existe otra regla que sea siempre tan buena o mejor, pero otras reglas admisibles podrían lograr un riesgo menor para la mayoría de los que ocurren en la práctica. (El riesgo de Bayes que se analiza a continuación es una forma de considerar explícitamente lo que ocurre en la práctica). ${\displaystyle \theta \,\!}$ ${\displaystyle \delta \,\!}$ ${\displaystyle \theta \,\!}$ ${\displaystyle \theta \,\!}$

Reglas de Bayes y reglas de Bayes generalizadas

reglas de bayes

Sea una distribución de probabilidad de los estados de la naturaleza. Desde un punto de vista bayesiano , lo consideraríamos una distribución previa . Es decir, es nuestra distribución de probabilidad creída sobre los estados de la naturaleza, antes de observar los datos. Para un frecuentista , es simplemente una función sin tal interpretación especial. El riesgo de Bayes de la regla de decisión con respecto a es la expectativa ${\displaystyle \pi (\theta )\,\!}$ ${\displaystyle \Theta \,\!}$ ${\displaystyle \delta \,\!}$ ${\displaystyle \pi (\theta )\,\!}$

${\displaystyle r(\pi ,\delta )=\operatorname {E} _{\pi (\theta )}[R(\theta ,\delta )].\,\!}$

Una regla de decisión que minimiza se llama regla de Bayes con respecto a . Puede haber más de una regla de Bayes de este tipo. Si el riesgo de Bayes es infinito para todos , entonces no se define ninguna regla de Bayes. ${\displaystyle \delta \,\!}$ ${\displaystyle r(\pi ,\delta )\,\!}$ ${\displaystyle \pi (\theta )\,\!}$ ${\displaystyle \delta \,\!}$

Reglas de Bayes generalizadas

En el enfoque bayesiano de la teoría de la decisión, lo observado se considera fijo . Mientras que el enfoque frecuentista (es decir, el riesgo) promedia las muestras posibles , el bayesiano fijaría la muestra observada y promediaría las hipótesis . Por lo tanto, el enfoque bayesiano consiste en considerar para nuestra observación la pérdida esperada ${\displaystyle x\,\!}$ ${\displaystyle x\in {\mathcal {X}}\,\!}$ ${\displaystyle x\,\!}$ ${\displaystyle \theta \in \Theta \,\!}$ ${\displaystyle x\,\!}$

${\displaystyle \rho (\pi ,\delta \mid x)=\operatorname {E} _{\pi (\theta \mid x)}[L(\theta ,\delta (x))].\,\!}$

donde la expectativa está sobre la posterior de lo dado (obtenido a partir del teorema de Bayes y utilizando su uso ). ${\displaystyle \theta \,\!}$ ${\displaystyle x\,\!}$ ${\displaystyle \pi (\theta )\,\!}$ ${\displaystyle F(x\mid \theta )\,\!}$

Habiendo hecho explícita la pérdida esperada para cada uno de ellos por separado, podemos definir una regla de decisión especificando para cada uno una acción que minimice la pérdida esperada. Esto se conoce como regla de Bayes generalizada con respecto a . Puede haber más de una regla de Bayes generalizada, ya que puede haber múltiples opciones que logren la misma pérdida esperada. ${\displaystyle x\,\!}$ ${\displaystyle \delta \,\!}$ ${\displaystyle x\,\!}$ ${\displaystyle \delta (x)\,\!}$ ${\displaystyle \pi (\theta )\,\!}$ ${\displaystyle \delta (x)\,\!}$

Al principio, esto puede parecer bastante diferente del enfoque de la regla de Bayes de la sección anterior, no una generalización. Sin embargo, observe que el riesgo de Bayes ya promedia en forma bayesiana, y el riesgo de Bayes puede recuperarse como la expectativa de la pérdida esperada (donde y ). En términos generales, minimiza esta expectativa de pérdida esperada (es decir, es una regla de Bayes) si y sólo si minimiza la pérdida esperada para cada uno por separado (es decir, es una regla de Bayes generalizada). ${\displaystyle \Theta \,\!}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle x\sim \theta \,\!}$ ${\displaystyle \theta \sim \pi \,\!}$ ${\displaystyle \delta \,\!}$ ${\displaystyle x\in {\mathcal {X}}}$

Entonces, ¿por qué es una mejora la noción de regla de Bayes generalizada? De hecho, es equivalente a la noción de regla de Bayes cuando existe una regla de Bayes y todas tienen probabilidad positiva. Sin embargo, no existe una regla de Bayes si el riesgo de Bayes es infinito (para todos ). En este caso sigue siendo útil definir una regla de Bayes generalizada , que al menos elige una acción de pérdida esperada mínima para aquellos para los cuales existe una acción de pérdida esperada finita. Además, una regla de Bayes generalizada puede ser deseable porque debe elegir una acción de pérdida mínima esperada para cada , mientras que a una regla de Bayes se le permitiría desviarse de esta política en un conjunto de medidas 0 sin afectar el riesgo de Bayes. ${\displaystyle x\,\!}$ ${\displaystyle \delta \,\!}$ ${\displaystyle \delta \,\!}$ ${\displaystyle \delta (x)\!\,}$ ${\displaystyle x\,\!}$ ${\displaystyle \delta (x)\,\!}$ ${\displaystyle x\,\!}$ ${\displaystyle X\subseteq {\mathcal {X}}}$

Más importante aún, a veces es conveniente utilizar un prior inadecuado . En este caso, el riesgo de Bayes ni siquiera está bien definido, ni existe una distribución bien definida sobre . Sin embargo, la pérdida posterior (y por tanto la pérdida esperada) puede estar bien definida para cada uno , de modo que todavía es posible definir una regla de Bayes generalizada. ${\displaystyle \pi (\theta )\,\!}$ ${\displaystyle x\,\!}$ ${\displaystyle \pi (\theta \mid x)\,\!}$ ${\displaystyle x\,\!}$

Admisibilidad de las reglas de Bayes (generalizadas)

Según los teoremas de clase completos, en condiciones leves toda regla admisible es una regla de Bayes (generalizada) (con respecto a alguna anterior —posiblemente inadecuada— que favorece distribuciones donde esa regla logra un riesgo bajo). Por tanto, en la teoría de la decisión frecuentista es suficiente considerar únicamente reglas de Bayes (generalizadas). ${\displaystyle \pi (\theta )\,\!}$ ${\displaystyle \theta \,\!}$

Por el contrario, si bien las reglas de Bayes con respecto a antecedentes adecuados son prácticamente siempre admisibles, las reglas de Bayes generalizadas correspondientes a antecedentes inadecuados no necesariamente generan procedimientos admisibles. El ejemplo de Stein es una de esas situaciones famosas.

Ejemplos

El estimador de James-Stein es un estimador no lineal de la media de vectores aleatorios gaussianos y se puede demostrar que domina la técnica de mínimos cuadrados ordinarios con respecto a una función de pérdida de error cuadrático medio. ^[2] Por lo tanto, la estimación de mínimos cuadrados no es un procedimiento de estimación admisible en este contexto. Algunas otras estimaciones estándar asociadas con la distribución normal también son inadmisibles: por ejemplo, la estimación muestral de la varianza cuando se desconocen la media y la varianza de la población. ^[3]

Notas

1. Dodge, Y. (2003) Diccionario Oxford de términos estadísticos . OUP. ISBN  0-19-920613-9 (entrada para función de decisión admisible)
2. Cox y Hinkley 1974, sección 11.8
3. Cox y Hinkley 1974, ejercicio 11.7

Referencias

• Cox, DR; Hinkley, DV (1974). Estadística Teórica . Wiley. ISBN 0-412-12420-3.
• Berger, James O. (1980). Teoría de la decisión estadística y análisis bayesiano (2ª ed.). Springer-Verlag. ISBN 0-387-96098-8.
• DeGroot, Morris (2004) [1º. pub. 1970]. Decisiones estadísticas óptimas . Biblioteca de clásicos de Wiley. ISBN 0-471-68029-X.
• Robert, Christian P. (1994). La elección bayesiana . Springer-Verlag. ISBN 3-540-94296-3.