Regla de decisión aleatoria

En teoría de decisión estadística , una regla de decisión aleatoria o regla de decisión mixta es una regla de decisión que asocia probabilidades con reglas de decisión deterministas. En problemas de decisión finita, las reglas de decisión aleatorias definen un conjunto de riesgos que es la capa convexa de los puntos de riesgo de las reglas de decisión no aleatorias.

Como siempre existen alternativas no aleatorias a las reglas de Bayes aleatorias, la aleatorización no es necesaria en la estadística bayesiana , aunque la teoría estadística frecuentista a veces requiere el uso de reglas aleatorias para satisfacer condiciones de optimización como minimax , sobre todo cuando se derivan intervalos de confianza y pruebas de hipótesis sobre distribuciones de probabilidad discretas. .

Una prueba estadística que utiliza una regla de decisión aleatoria se denomina prueba aleatoria .

Definición e interpretación

Sea un conjunto de reglas de decisión no aleatorias con probabilidades asociadas . Entonces la regla de decisión aleatoria se define como y su función de riesgo asociada es . ^[1] Esta regla puede tratarse como un experimento aleatorio en el que las reglas de decisión se seleccionan con probabilidades respectivamente. ^[2] ${\displaystyle {\mathcal {D}}=\{d_{1},d_{2}...,d_{h}\}}$ ${\displaystyle p_{1},p_{2},...,p_{h}}$ ${\displaystyle d^{*}}$ ${\displaystyle \sum _{i=1}^{h}p_{i}d_{i}}$ ${\displaystyle R(\theta ,d^{*})}$ ${\displaystyle \sum _{i=1}^{h}p_{i}R(\theta ,d_{i})}$ ${\displaystyle d_{1},...,d_{h}\in {\mathcal {D}}}$ ${\displaystyle p_{1},...p_{h}}$

Alternativamente, una regla de decisión aleatoria puede asignar probabilidades directamente a los elementos del espacio de acciones para cada miembro del espacio muestral. Más formalmente, denota la probabilidad de que se elija una acción. Según este enfoque, su función de pérdida también se define directamente como: . ^[3] ${\displaystyle {\mathcal {A}}}$ ${\displaystyle d^{*}(x,A)}$ ${\displaystyle a\in {\mathcal {A}}}$ ${\displaystyle \int _{A\in {\mathcal {A}}}d^{*}(x,A)L(\theta ,A)dA}$

La introducción de reglas de decisión aleatorias crea así un espacio de decisión más amplio a partir del cual el estadístico puede elegir su decisión. Como las reglas de decisión no aleatorias son un caso especial de reglas de decisión aleatorias donde una decisión o acción tiene probabilidad 1, el espacio de decisión original es un subconjunto adecuado del nuevo espacio de decisión . ^[4] ${\displaystyle {\mathcal {D}}}$ ${\displaystyle {\mathcal {D}}^{*}}$

Selección de reglas de decisión aleatoria.

Los puntos extremos del conjunto de riesgos, indicados por círculos vacíos, corresponden a reglas de decisión no aleatorias, mientras que las líneas gruesas denotan las reglas de decisión admisibles.

Al igual que con las reglas de decisión no aleatorias, las reglas de decisión aleatorias pueden satisfacer propiedades favorables como admisibilidad, minimaxidad y Bayes. Esto se ilustrará en el caso de un problema de decisión finita, es decir, un problema en el que el espacio de parámetros es un conjunto finito de, digamos, elementos. El conjunto de riesgo, en adelante denominado , es el conjunto de todos los vectores en el que cada entrada es el valor de la función de riesgo asociada con una regla de decisión aleatoria bajo un determinado parámetro: contiene todos los vectores de la forma . Tenga en cuenta que según la definición de la regla de decisión aleatoria, el conjunto de riesgos es la capa convexa de los riesgos . ^[5] ${\displaystyle k}$ ${\displaystyle {\mathcal {S}}}$ ${\displaystyle (R(\theta _{1},d^{*}),...R(\theta _{k},d^{*})),d^{*}\in {\mathcal {D}}^{*}}$ ${\displaystyle (R(\theta _{1},d),...R(\theta _{k},d)),d\in {\mathcal {D}}}$

En el caso de que el espacio de parámetros tenga solo dos elementos y , este constituye un subconjunto de , por lo que se puede dibujar con respecto a los ejes de coordenadas y correspondiente a los riesgos bajo y respectivamente. ^[6] A la derecha se muestra un ejemplo. ${\displaystyle \theta _{1}}$ ${\displaystyle \theta _{2}}$ ${\displaystyle \mathbb {R} ^{2}}$ ${\displaystyle R_{1}}$ ${\displaystyle R_{2}}$ ${\displaystyle \theta _{1}}$ ${\displaystyle \theta _{2}}$

Admisibilidad

Una regla de decisión admisible es aquella que no está dominada por ninguna otra regla de decisión, es decir, no existe una regla de decisión que tenga un riesgo igual o menor que él para todos los parámetros y un riesgo estrictamente menor que él para algún parámetro. En un problema de decisión finita, el punto de riesgo de una regla de decisión admisible tiene coordenadas x o y más bajas que todos los demás puntos de riesgo o, más formalmente, es el conjunto de reglas con puntos de riesgo de la forma tal que . Por tanto, el lado izquierdo del límite inferior del conjunto de riesgos es el conjunto de reglas de decisión admisibles. ^{[6] [7]} ${\displaystyle (a,b)}$ ${\displaystyle \{(R_{1},R_{2}):R_{1}\leq a,R_{2}\leq b\}\cap {\mathcal {S}}=(a,b)}$

minimax

Una regla de Bayes minimax es aquella que minimiza el riesgo supremo entre todas las reglas de decisión en . A veces, una regla de decisión aleatoria puede funcionar mejor que todas las demás reglas de decisión no aleatorias en este sentido. ^[1] ${\displaystyle \sup _{\theta \in \Theta }R(\theta ,d^{*})}$ ${\displaystyle {\mathcal {D}}^{*}}$

En un problema de decisión finita con dos parámetros posibles, la regla minimax se puede encontrar considerando la familia de cuadrados . ^[8] El valor de para el más pequeño de esos cuadrados que toca es el riesgo minimax y el punto o puntos correspondientes en el conjunto de riesgo es la regla minimax. ${\displaystyle Q(c)=\{(R_{1},R_{2}):0\leq R_{1}\leq c,0\leq R_{2}\leq c\}}$ ${\displaystyle c}$ ${\displaystyle {\mathcal {S}}}$

Si el conjunto de riesgos cruza la línea , entonces la regla de decisión admisible que se encuentra en la línea es minimax. Si o se cumple para cada punto del conjunto de riesgos, entonces la regla minimax puede ser un punto extremo (es decir, una regla de decisión no aleatoria) o una línea que conecta dos puntos extremos (reglas de decisión no aleatorias). ^{[9] [6]} ${\displaystyle R_{1}=R_{2}}$ ${\displaystyle R_{2}>R_{1}}$ ${\displaystyle R_{1}>R_{2}}$

• 
  La regla minimax es la regla de decisión aleatoria . ${\displaystyle (1-p)d_{1}+pd_{2}}$
• 
  La regla minimax es . ${\displaystyle d_{2}}$
• 
  Las reglas minimax son todas reglas de la forma , . ${\displaystyle (1-p)d_{1}+pd_{2}}$ ${\displaystyle 0\leq p\leq 1}$

Bayes

Una regla de Bayes aleatoria es aquella que tiene un riesgo de Bayes mínimo entre todas las reglas de decisión. En el caso especial donde el espacio de parámetros tiene dos elementos, la línea , donde y denotan las probabilidades previas de y respectivamente, es una familia de puntos con riesgo de Bayes . El riesgo Bayes mínimo para el problema de decisión es, por tanto, el más pequeño tal que la línea toque el conjunto de riesgos. ^{[10] [11]} Esta línea puede tocar sólo un punto extremo del conjunto de riesgos, es decir, corresponder a una regla de decisión no aleatoria, o superponerse con un lado completo del conjunto de riesgos, es decir, corresponder a dos reglas de decisión no aleatorias y reglas de decisión aleatorias. combinando los dos. Esto se ilustra con las tres situaciones siguientes: ${\displaystyle r(\pi ,d^{*})}$ ${\displaystyle \pi _{1}R_{1}+(1-\pi _{1})R_{2}=c}$ ${\displaystyle \pi _{1}}$ ${\displaystyle \pi _{2}}$ ${\displaystyle \theta _{1}}$ ${\displaystyle \theta _{2}}$ ${\displaystyle c}$ ${\displaystyle c}$

• 
  Las reglas de Bayes son el conjunto de reglas de decisión de la forma ,. ${\displaystyle (1-p)d_{1}+pd_{2}}$ ${\displaystyle 0\leq p\leq 1}$
• 
  La regla de Bayes es . ${\displaystyle d_{1}}$
• 
  La regla de Bayes es . ${\displaystyle d_{2}}$

Como diferentes antecedentes dan como resultado diferentes pendientes, el conjunto de todas las reglas que son Bayes con respecto a algún anterior es el mismo que el conjunto de reglas admisibles. ^[12]

Tenga en cuenta que no es posible ninguna situación en la que no exista una regla de Bayes no aleatoria pero sí una regla de Bayes aleatoria. La existencia de una regla de Bayes aleatoria implica la existencia de una regla de Bayes no aleatoria. Esto también es cierto en el caso general, incluso con un espacio de parámetros infinito, un riesgo Bayes infinito e independientemente de si se puede alcanzar el riesgo Bayes mínimo. ^{[3] [12]} Esto apoya la noción intuitiva de que el estadístico no necesita utilizar la aleatorización para llegar a decisiones estadísticas. ^[4]

En la práctica

Como las reglas de Bayes aleatorias siempre tienen alternativas no aleatorias, son innecesarias en las estadísticas bayesianas . Sin embargo, en las estadísticas frecuentistas, las reglas aleatorias son teóricamente necesarias en determinadas situaciones ^[13] y se pensó que eran útiles en la práctica cuando se inventaron por primera vez: Egon Pearson pronosticó que "no encontrarán fuertes objeciones". ^[14] Sin embargo, pocos estadísticos realmente los implementan hoy en día. ^{[14] [15]}

Prueba aleatoria

Las pruebas aleatorias no deben confundirse con las pruebas de permutación . ^[dieciséis]

En la formulación habitual de la prueba de razón de verosimilitud , la hipótesis nula se rechaza siempre que la razón de verosimilitud sea menor que alguna constante , y se acepta en caso contrario. Sin embargo, esto a veces resulta problemático cuando es discreto bajo la hipótesis nula, cuando es posible. ${\displaystyle \Lambda }$ ${\displaystyle K}$ ${\displaystyle \Lambda }$ ${\displaystyle \Lambda =K}$

Una solución es definir una función de prueba , cuyo valor es la probabilidad de que se acepte la hipótesis nula: ^{[17] [18]} ${\displaystyle \phi (x)}$

${\displaystyle \phi (x)=\left\{{\begin{array}{l}1&{\text{ if }}\Lambda >K\\p(x)&{\text{ if }}\Lambda =K\\0&{\text{ if }}\Lambda <K\end{array}}\right.}$

Esto puede interpretarse como lanzar una moneda sesgada con la probabilidad de que salga cara siempre que salga cara y rechazar la hipótesis nula si sale cara. ^[15] ${\displaystyle p(x)}$ ${\displaystyle \Lambda =k}$

Una forma generalizada del lema de Neyman-Pearson establece que esta prueba tiene potencia máxima entre todas las pruebas al mismo nivel de significancia , que dicha prueba debe existir para cualquier nivel de significancia y que la prueba es única en situaciones normales. ^[19] ${\displaystyle \alpha }$ ${\displaystyle \alpha }$

Como ejemplo, considere el caso en el que la distribución subyacente es Bernoulli con probabilidad y nos gustaría probar la hipótesis nula con la hipótesis alternativa . Es natural elegir algo tal que y rechazar el nulo siempre que sea el estadístico de prueba. Sin embargo, para tener en cuenta los casos en los que definimos la función de prueba: ${\displaystyle p}$ ${\displaystyle p\leq \lambda }$ ${\displaystyle p>\lambda }$ ${\displaystyle k}$ ${\displaystyle P({\hat {p}}>k|H_{0})=\alpha }$ ${\displaystyle {\hat {p}}>k}$ ${\displaystyle {\hat {p}}}$ ${\displaystyle {\hat {p}}=k}$

${\displaystyle \phi (x)=\left\{{\begin{array}{l}1&{\text{ if }}{\hat {p}}>k\\\gamma &{\text{ if }}{\hat {p}}=k\\0&{\text{ if }}{\hat {p}}<k\end{array}}\right.}$

donde se elige tal que . ${\displaystyle \gamma }$ ${\displaystyle P({\hat {p}}>k|H_{0})+\gamma P({\hat {p}}=k|H_{0})=\alpha }$

Intervalos de confianza aleatorios

Un problema análogo surge en la construcción de intervalos de confianza. Por ejemplo, el intervalo de Clopper-Pearson siempre es conservador debido a la naturaleza discreta de la distribución binomial. Una alternativa es encontrar los límites de confianza superior e inferior y resolver las siguientes ecuaciones: ^[14] ${\displaystyle U}$ ${\displaystyle L}$

${\displaystyle \left\{{\begin{array}{l}Pr({\hat {p}}<k|p=U)+\gamma P({\hat {p}}=k|p=U)&=\alpha /2\\Pr({\hat {p}}>k|p=L)+\gamma P({\hat {p}}=k|p=L)&=\alpha /2\end{array}}\right.}$

donde es una variable aleatoria uniforme en (0, 1). ${\displaystyle \gamma }$

Ver también

• Estrategia mixta
• Programación lineal

Notas a pie de página

1. Young y Smith, pág. 11
2. Bickel y Doksum, pag. 28
3. Parmigiani, pag. 132
4. DeGroot, páginas 128-129
5. Bickel y Doksum, p.29
6. Young y Smith, p.12
7. Bickel y Doksum, pag. 32
8. Bickel y Doksum, p.30
9. Young y Smith, págs. 14-16
10. Joven y Smith, pag. 13
11. Bickel y Doksum, págs. 29-30
12. Bickel y Doksum, p.31
13. Roberto, página 66
14. Agresti y Gottard, p.367
15. Bickel y Doksum, p.224
16. Onghena, Patrick (30 de octubre de 2017), Berger, Vance W. (ed.), "¿Pruebas de aleatorización o pruebas de permutación? Una aclaración histórica y terminológica", Aleatorización, enmascaramiento y ocultación de asignaciones (1 ed.), Boca Raton, FL: Chapman y Hall/CRC, págs. 209–228, doi :10.1201/9781315305110-14, ISBN 978-1-315-30511-0, consultado el 8 de octubre de 2021
17. Joven y Smith, p.68
18. Roberto, p.243
19. Joven y Smith, p.68

Bibliografía

• Agresti, Alan; Gottard, Anna (2005). "Comentario: intervalos de confianza aleatorios y el enfoque Mid-P" (PDF) . Ciencia estadística . 5 (4): 367–371. doi : 10.1214/088342305000000403 .
• Bickel, Peter J.; Doksum, Kjell A. (2001). Estadística matemática: ideas básicas y temas seleccionados (2ª ed.). Upper Saddle River, Nueva Jersey: Prentice-Hall. ISBN 978-0138503635.
• DeGroot, Morris H. (2004). Decisiones estadísticas óptimas . Hoboken, Nueva Jersey: Wiley-Interscience. ISBN 978-0471680291.
• Parmigiani, Giovanni; Inoue, Lurdes YT (2009). Teoría de la decisión: principios y enfoques . Chichester, West Sussex: John Wiley and Sons. ISBN 9780470746684.
• Robert, Christian P (2007). La elección bayesiana: desde los fundamentos de la teoría de la decisión hasta la implementación computacional . Nueva York: Springer. ISBN 9780387715988.
• Joven, Georgia; Smith, RL (2005). Fundamentos de la inferencia estadística . Cambridge: Prensa de la Universidad de Cambridge. ISBN 9780521548663.