Regla de decisión aleatoria

En la teoría de la decisión estadística , una regla de decisión aleatoria o regla de decisión mixta es una regla de decisión que asocia probabilidades con reglas de decisión deterministas. En problemas de decisión finitos, las reglas de decisión aleatorias definen un conjunto de riesgos que es la envoltura convexa de los puntos de riesgo de las reglas de decisión no aleatorias.

Como siempre existen alternativas no aleatorias a las reglas de Bayes aleatorias, la aleatorización no es necesaria en las estadísticas bayesianas , aunque la teoría estadística frecuentista a veces requiere el uso de reglas aleatorias para satisfacer condiciones de optimalidad como minimax , especialmente al derivar intervalos de confianza y pruebas de hipótesis sobre distribuciones de probabilidad discretas .

Una prueba estadística que utiliza una regla de decisión aleatoria se denomina prueba aleatoria .

Definición e interpretación

Sea un conjunto de reglas de decisión no aleatorias con probabilidades asociadas . Entonces, la regla de decisión aleatoria se define como y su función de riesgo asociada es . ^[1] Esta regla puede tratarse como un experimento aleatorio en el que las reglas de decisión se seleccionan con probabilidades respectivamente. ^[2] ${\displaystyle {\mathcal {D}}=\{d_{1},d_{2}...,d_{h}\}}$ ${\displaystyle p_{1},p_{2},...,p_{h}}$ ${\displaystyle d^{*}}$ ${\displaystyle \sum _{i=1}^{h}p_{i}d_{i}}$ ${\displaystyle R(\theta ,d^{*})}$ ${\displaystyle \sum _{i=1}^{h}p_{i}R(\theta ,d_{i})}$ ${\displaystyle d_{1},...,d_{h}\in {\mathcal {D}}}$ ${\displaystyle p_{1},...p_{h}}$

Alternativamente, una regla de decisión aleatoria puede asignar probabilidades directamente a los elementos del espacio de acciones para cada miembro del espacio muestral. Más formalmente, denota la probabilidad de que se elija una acción . Bajo este enfoque, su función de pérdida también se define directamente como: . ^[3] ${\displaystyle {\mathcal {A}}}$ ${\displaystyle d^{*}(x,A)}$ ${\displaystyle a\in {\mathcal {A}}}$ ${\displaystyle \int _{A\in {\mathcal {A}}}d^{*}(x,A)L(\theta ,A)dA}$

La introducción de reglas de decisión aleatorias crea un espacio de decisión más amplio del cual el estadístico puede elegir su decisión. Como las reglas de decisión no aleatorias son un caso especial de reglas de decisión aleatorias donde una decisión o acción tiene una probabilidad de 1, el espacio de decisión original es un subconjunto propio del nuevo espacio de decisión . ^[4] ${\displaystyle {\mathcal {D}}}$ ${\displaystyle {\mathcal {D}}^{*}}$

Selección de reglas de decisión aleatorias

Los puntos extremos del conjunto de riesgos, indicados por círculos vacíos, corresponden a reglas de decisión no aleatorias, mientras que las líneas gruesas indican las reglas de decisión admisibles.

Al igual que con las reglas de decisión no aleatorias, las reglas de decisión aleatorias pueden satisfacer propiedades favorables como admisibilidad, minimaxidad y Bayes. Esto se ilustrará en el caso de un problema de decisión finito, es decir, un problema donde el espacio de parámetros es un conjunto finito de, digamos, elementos. El conjunto de riesgos, denotado de ahora en adelante como , es el conjunto de todos los vectores en los que cada entrada es el valor de la función de riesgo asociada con una regla de decisión aleatoria bajo un cierto parámetro: contiene todos los vectores de la forma . Nótese que por la definición de la regla de decisión aleatoria, el conjunto de riesgos es la envoltura convexa de los riesgos . ^[5] ${\displaystyle k}$ ${\displaystyle {\mathcal {S}}}$ ${\displaystyle (R(\theta _{1},d^{*}),...R(\theta _{k},d^{*})),d^{*}\in {\mathcal {D}}^{*}}$ ${\displaystyle (R(\theta _{1},d),...R(\theta _{k},d)),d\in {\mathcal {D}}}$

En el caso en que el espacio de parámetros tiene sólo dos elementos y , este constituye un subconjunto de , por lo que puede dibujarse con respecto a los ejes de coordenadas y correspondientes a los riesgos bajo y respectivamente. ^[6] Un ejemplo se muestra a la derecha. ${\displaystyle \theta _{1}}$ ${\displaystyle \theta _{2}}$ ${\displaystyle \mathbb {R} ^{2}}$ ${\displaystyle R_{1}}$ ${\displaystyle R_{2}}$ ${\displaystyle \theta _{1}}$ ${\displaystyle \theta _{2}}$

Admisibilidad

Una regla de decisión admisible es aquella que no está dominada por ninguna otra regla de decisión, es decir, no existe ninguna regla de decisión que tenga un riesgo igual o menor que ella para todos los parámetros y un riesgo estrictamente menor que ella para algún parámetro. En un problema de decisión finito, el punto de riesgo de una regla de decisión admisible tiene coordenadas x o coordenadas y más bajas que todos los demás puntos de riesgo o, más formalmente, es el conjunto de reglas con puntos de riesgo de la forma tales que . Por lo tanto, el lado izquierdo del límite inferior del conjunto de riesgos es el conjunto de reglas de decisión admisibles. ^{[6] [7]} ${\displaystyle (a,b)}$ ${\displaystyle \{(R_{1},R_{2}):R_{1}\leq a,R_{2}\leq b\}\cap {\mathcal {S}}=(a,b)}$

Minimáximo

Una regla de Bayes minimax es aquella que minimiza el riesgo supremo entre todas las reglas de decisión en . A veces, una regla de decisión aleatoria puede funcionar mejor que todas las demás reglas de decisión no aleatorias en este sentido. ^[1] ${\displaystyle \sup _{\theta \in \Theta }R(\theta ,d^{*})}$ ${\displaystyle {\mathcal {D}}^{*}}$

En un problema de decisión finito con dos parámetros posibles, la regla minimax se puede encontrar considerando la familia de cuadrados . ^[8] El valor de para el más pequeño de dichos cuadrados que se toca es el riesgo minimax y el punto o puntos correspondientes en el conjunto de riesgos es la regla minimax. ${\displaystyle Q(c)=\{(R_{1},R_{2}):0\leq R_{1}\leq c,0\leq R_{2}\leq c\}}$ ${\displaystyle c}$ ${\displaystyle {\mathcal {S}}}$

Si el conjunto de riesgos interseca la línea , entonces la regla de decisión admisible que se encuentra sobre la línea es minimax. Si o se cumple para cada punto en el conjunto de riesgos, entonces la regla minimax puede ser un punto extremo (es decir, una regla de decisión no aleatoria) o una línea que conecta dos puntos extremos (reglas de decisión no aleatorias). ^{[9] [6]} ${\displaystyle R_{1}=R_{2}}$ ${\displaystyle R_{2}>R_{1}}$ ${\displaystyle R_{1}>R_{2}}$

• 
  La regla minimax es la regla de decisión aleatoria . ${\displaystyle (1-p)d_{1}+pd_{2}}$
• 
  La regla minimax es . ${\displaystyle d_{2}}$
• 
  Las reglas minimax son todas reglas de la forma , . ${\displaystyle (1-p)d_{1}+pd_{2}}$ ${\displaystyle 0\leq p\leq 1}$

Bayes

Una regla de Bayes aleatoria es aquella que tiene un riesgo de Bayes mínimo entre todas las reglas de decisión. En el caso especial donde el espacio de parámetros tiene dos elementos, la línea , donde y denotan las probabilidades previas de y respectivamente, es una familia de puntos con riesgo de Bayes . Por lo tanto, el riesgo de Bayes mínimo para el problema de decisión es el más pequeño tal que la línea toca el conjunto de riesgos. ^{[10] [11]} Esta línea puede tocar solo un punto extremo del conjunto de riesgos, es decir, corresponder a una regla de decisión no aleatoria, o superponerse con un lado completo del conjunto de riesgos, es decir, corresponder a dos reglas de decisión no aleatorias y reglas de decisión aleatorias que combinan las dos. Esto se ilustra con las tres situaciones siguientes: ${\displaystyle r(\pi ,d^{*})}$ ${\displaystyle \pi _{1}R_{1}+(1-\pi _{1})R_{2}=c}$ ${\displaystyle \pi _{1}}$ ${\displaystyle \pi _{2}}$ ${\displaystyle \theta _{1}}$ ${\displaystyle \theta _{2}}$ ${\displaystyle c}$ ${\displaystyle c}$

• 
  Las reglas de Bayes son el conjunto de reglas de decisión de la forma , . ${\displaystyle (1-p)d_{1}+pd_{2}}$ ${\displaystyle 0\leq p\leq 1}$
• 
  La regla de Bayes es . ${\displaystyle d_{1}}$
• 
  La regla de Bayes es . ${\displaystyle d_{2}}$

Como diferentes valores anteriores dan como resultado diferentes pendientes, el conjunto de todas las reglas que son Bayes con respecto a algún valor anterior es el mismo que el conjunto de reglas admisibles. ^[12]

Obsérvese que no es posible ninguna situación en la que no exista una regla de Bayes no aleatoria, pero sí una regla de Bayes aleatoria. La existencia de una regla de Bayes aleatoria implica la existencia de una regla de Bayes no aleatoria. Esto también es cierto en el caso general, incluso con un espacio de parámetros infinito, un riesgo de Bayes infinito e independientemente de si se puede alcanzar el riesgo de Bayes ínfimo. ^{[3] [12]} Esto respalda la noción intuitiva de que el estadístico no necesita utilizar la aleatorización para llegar a decisiones estadísticas. ^[4]

En la práctica

Como las reglas bayesianas aleatorizadas siempre tienen alternativas no aleatorizadas, son innecesarias en la estadística bayesiana . Sin embargo, en la estadística frecuentista, las reglas aleatorizadas son teóricamente necesarias en ciertas situaciones ^[13] y se pensó que serían útiles en la práctica cuando se inventaron por primera vez: Egon Pearson pronosticó que "no se encontrarían con fuertes objeciones". ^[14] Sin embargo, pocos estadísticos las implementan en la actualidad. ^{[14] [15]}

Prueba aleatoria

Las pruebas aleatorias no deben confundirse con las pruebas de permutación . ^[16]

En la formulación habitual de la prueba de razón de verosimilitud , la hipótesis nula se rechaza siempre que la razón de verosimilitud sea menor que una constante y se acepta en caso contrario. Sin embargo, esto a veces es problemático cuando es discreto bajo la hipótesis nula, cuando es posible. ${\displaystyle \Lambda }$ ${\displaystyle K}$ ${\displaystyle \Lambda }$ ${\displaystyle \Lambda =K}$

Una solución es definir una función de prueba , cuyo valor es la probabilidad en la que se acepta la hipótesis nula: ^{[17] [18]} ${\displaystyle \phi (x)}$

${\displaystyle \phi (x)=\left\{{\begin{array}{l}1&{\text{ if }}\Lambda >K\\p(x)&{\text{ if }}\Lambda =K\\0&{\text{ if }}\Lambda <K\end{array}}\right.}$

Esto puede interpretarse como lanzar una moneda sesgada con una probabilidad de que salga cara siempre y rechazar la hipótesis nula si sale cara. ^[15] ${\displaystyle p(x)}$ ${\displaystyle \Lambda =k}$

Una forma generalizada del lema de Neyman-Pearson establece que esta prueba tiene la máxima potencia entre todas las pruebas en el mismo nivel de significancia , que dicha prueba debe existir para cualquier nivel de significancia y que la prueba es única en situaciones normales. ^[19] ${\displaystyle \alpha }$ ${\displaystyle \alpha }$

Como ejemplo, considere el caso en el que la distribución subyacente es Bernoulli con probabilidad , y nos gustaría probar la hipótesis nula contra la hipótesis alternativa . Es natural elegir alguna tal que , y rechazar la hipótesis nula siempre que , donde es la estadística de prueba. Sin embargo, para tener en cuenta los casos en los que , definimos la función de prueba: ${\displaystyle p}$ ${\displaystyle p\leq \lambda }$ ${\displaystyle p>\lambda }$ ${\displaystyle k}$ ${\displaystyle P({\hat {p}}>k|H_{0})=\alpha }$ ${\displaystyle {\hat {p}}>k}$ ${\displaystyle {\hat {p}}}$ ${\displaystyle {\hat {p}}=k}$

${\displaystyle \phi (x)=\left\{{\begin{array}{l}1&{\text{ if }}{\hat {p}}>k\\\gamma &{\text{ if }}{\hat {p}}=k\\0&{\text{ if }}{\hat {p}}<k\end{array}}\right.}$

donde se elige tal que . ${\displaystyle \gamma }$ ${\displaystyle P({\hat {p}}>k|H_{0})+\gamma P({\hat {p}}=k|H_{0})=\alpha }$

Intervalos de confianza aleatorios

Un problema análogo surge en la construcción de intervalos de confianza. Por ejemplo, el intervalo de Clopper-Pearson es siempre conservador debido a la naturaleza discreta de la distribución binomial. Una alternativa es encontrar los límites de confianza superior e inferior y resolver las siguientes ecuaciones: ^[14] ${\displaystyle U}$ ${\displaystyle L}$

${\displaystyle \left\{{\begin{array}{l}Pr({\hat {p}}<k|p=U)+\gamma P({\hat {p}}=k|p=U)&=\alpha /2\\Pr({\hat {p}}>k|p=L)+\gamma P({\hat {p}}=k|p=L)&=\alpha /2\end{array}}\right.}$

donde es una variable aleatoria uniforme en (0, 1). ${\displaystyle \gamma }$

Véase también

• Estrategia mixta
• Programación lineal

Notas al pie

1. Young y Smith, pág. 11
2. Bickel y Doksum, pág. 28
3. Parmigiani, pág. 132
4. DeGroot, pág. 128-129
5. Bickel y Doksum, pág. 29
6. Young y Smith, pág. 12
7. Bickel y Doksum, pág. 32
8. Bickel y Doksum, pág. 30
9. Young y Smith, págs. 14-16
10. Young y Smith, pág. 13
11. Bickel y Doksum, págs. 29-30
12. Bickel y Doksum, pág. 31
13. Robert, pág. 66
14. Agresti y Gottard, p.367
15. Bickel y Doksum, pág. 224
16. Onghena, Patrick (30 de octubre de 2017), Berger, Vance W. (ed.), "¿Pruebas de aleatorización o pruebas de permutación? Una aclaración histórica y terminológica", Aleatorización, enmascaramiento y ocultamiento de la asignación (1.ª ed.), Boca Raton, FL: Chapman and Hall/CRC, págs. 209-228, doi :10.1201/9781315305110-14, ISBN 978-1-315-30511-0, consultado el 8 de octubre de 2021
17. Young y Smith, pág. 68
18. Robert, pág. 243
19. Young y Smith, pág. 68

Bibliografía

• Agresti, Alan; Gottard, Anna (2005). "Comentario: intervalos de confianza aleatorios y el enfoque Mid-P" (PDF) . Ciencia estadística . 5 (4): 367–371. doi : 10.1214/088342305000000403 .
• Bickel, Peter J.; Doksum, Kjell A. (2001). Estadística matemática: ideas básicas y temas seleccionados (2.ª ed.). Upper Saddle River, NJ: Prentice-Hall. ISBN 978-0138503635.
• DeGroot, Morris H. (2004). Decisiones estadísticas óptimas . Hoboken, NJ: Wiley-Interscience. ISBN 978-0471680291.
• Parmigiani, Giovanni; Inoue, Lurdes YT (2009). Teoría de la decisión: principios y enfoques . Chichester, West Sussex: John Wiley and Sons. ISBN 9780470746684.
• Robert, Christian P (2007). La elección bayesiana: desde los fundamentos teóricos de la decisión hasta la implementación computacional . Nueva York: Springer. ISBN 9780387715988.
• Young, GA; Smith, RL (2005). Fundamentos de inferencia estadística . Cambridge: Cambridge University Press. ISBN 9780521548663.