El ejemplo de Stein

Fenómeno en la teoría de la decisión y la teoría de la estimación

En teoría de la decisión y teoría de la estimación , el ejemplo de Stein (también conocido como fenómeno de Stein o paradoja de Stein ) es la observación de que cuando se estiman tres o más parámetros simultáneamente, existen estimadores combinados más precisos en promedio (es decir, que tienen un error cuadrático medio esperado menor ) que cualquier método que maneje los parámetros por separado. Recibe su nombre en honor a Charles Stein de la Universidad de Stanford , quien descubrió el fenómeno en 1955. ^[1]

Una explicación intuitiva es que optimizar el error cuadrático medio de un estimador combinado no es lo mismo que optimizar los errores de estimadores separados de los parámetros individuales. En términos prácticos, si el error combinado es de hecho de interés, entonces se debe utilizar un estimador combinado, incluso si los parámetros subyacentes son independientes. Si en cambio uno está interesado en estimar un parámetro individual, entonces utilizar un estimador combinado no ayuda y, de hecho, es peor.

Declaración formal

La siguiente es la forma más simple de la paradoja, el caso especial en el que el número de observaciones es igual al número de parámetros a estimar. Sea un vector que consta de parámetros desconocidos. Para estimar estos parámetros, se realiza una única medición para cada parámetro , lo que da como resultado un vector de longitud . Supongamos que se sabe que las mediciones son variables aleatorias gaussianas independientes , con media y varianza 1, es decir, . Por lo tanto, cada parámetro se estima utilizando una única medición ruidosa, y cada medición es igualmente inexacta. ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle n\geq 3}$ ${\displaystyle X_{i}}$ ${\displaystyle \theta _{i}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle n}$ ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle \mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\theta }},\mathbf {I} _{n})}$

En estas condiciones, es intuitivo y común utilizar cada medición como una estimación de su parámetro correspondiente. Esta regla de decisión denominada "ordinaria" se puede escribir como , que es el estimador de máxima verosimilitud (EMV). La calidad de un estimador de este tipo se mide por su función de riesgo . Una función de riesgo de uso común es el error cuadrático medio , definido como . Sorprendentemente, resulta que la regla de decisión "ordinaria" es subóptima ( inadmisible ) en términos de error cuadrático medio cuando . En otras palabras, en el contexto analizado aquí, existen estimadores alternativos que siempre logran un error cuadrático medio menor , sin importar cuál sea el valor de . Para un determinado , obviamente se podría definir un "estimador" perfecto que siempre sea solo , pero este estimador sería malo para otros valores de . ${\displaystyle {\hat {\boldsymbol {\theta }}}=\mathbf {X} }$ ${\displaystyle \mathbb {E} [\|{\boldsymbol {\theta }}-{\hat {\boldsymbol {\theta }}}\|^{2}]}$ ${\displaystyle n\geq 3}$ ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle {\boldsymbol {\theta }}}$

Los estimadores de la paradoja de Stein son, para un determinado , mejores que la regla de decisión "ordinaria" para algunos , pero necesariamente peores para otros. Solo en promedio son mejores. Más exactamente, se dice que un estimador domina a otro estimador si, para todos los valores de , el riesgo de es menor o igual que el riesgo de , y si la desigualdad es estricta para algún . Se dice que un estimador es admisible si ningún otro estimador lo domina, de lo contrario es inadmisible . Por lo tanto, el ejemplo de Stein puede enunciarse simplemente de la siguiente manera: La regla de decisión "ordinaria" de la media de una distribución gaussiana multivariante es inadmisible bajo el riesgo de error cuadrático medio. ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle {\hat {\boldsymbol {\theta }}}_{1}}$ ${\displaystyle {\hat {\boldsymbol {\theta }}}_{2}}$ ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle {\hat {\boldsymbol {\theta }}}_{1}}$ ${\displaystyle {\hat {\boldsymbol {\theta }}}_{2}}$ ${\displaystyle {\boldsymbol {\theta }}}$

Muchos estimadores simples y prácticos logran un mejor desempeño que la regla de decisión "ordinaria". El ejemplo más conocido es el estimador de James-Stein , que se contrae hacia un punto particular (como el origen) en una cantidad inversamente proporcional a la distancia de desde ese punto. Para un bosquejo de la prueba de este resultado, véase Prueba del ejemplo de Stein . Una prueba alternativa se debe a Larry Brown: demostró que el estimador ordinario para un vector de media normal multivariante -dimensional es admisible si y solo si el movimiento browniano -dimensional es recurrente. ^[2] Dado que el movimiento browniano no es recurrente para , el MLE no es admisible para . ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle n}$ ${\displaystyle n}$ ${\displaystyle n\geq 3}$ ${\displaystyle n\geq 3}$

Una explicación intuitiva

Para cualquier valor particular del nuevo estimador mejorará al menos uno de los errores cuadráticos medios individuales Esto no es difícil − por ejemplo, si está entre −1 y 1, y , entonces un estimador que se encoge linealmente hacia 0 en 0,5 (es decir, , umbral suave con umbral ) tendrá un error cuadrático medio menor que él mismo. Pero hay otros valores de para los cuales este estimador es peor que él mismo. El truco del estimador de Stein, y otros que producen la paradoja de Stein, es que ajustan el desplazamiento de tal manera que siempre hay (para cualquier vector) al menos uno cuyo error cuadrático medio se mejora, y su mejora compensa con creces cualquier degradación en el error cuadrático medio que pueda ocurrir para otro . El problema es que, sin saber , no sabes cuáles de los errores cuadráticos medios se mejoran, por lo que no puedes usar el estimador de Stein solo para esos parámetros. ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle \mathbb {E} [(\theta _{i}-{\hat {\theta }}_{i})^{2}].}$ ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle \sigma =1}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \operatorname {sign} (X_{i})\max(|X_{i}|-0.5,0)}$ ${\displaystyle 0.5}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle X_{i}}$ ${\displaystyle {\hat {\theta }}_{i}}$ ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle n}$

Un ejemplo de la configuración anterior ocurre en la estimación de canales en telecomunicaciones, por ejemplo, porque diferentes factores afectan el rendimiento general del canal.

Trascendencia

El ejemplo de Stein es sorprendente, ya que la regla de decisión "ordinaria" es intuitiva y de uso común. De hecho, numerosos métodos para la construcción de estimadores, incluida la estimación de máxima verosimilitud , la mejor estimación lineal insesgada , la estimación de mínimos cuadrados y la estimación equivariante óptima , dan como resultado el estimador "ordinario". Sin embargo, como se ha comentado anteriormente, este estimador es subóptimo.

Ejemplo

Para demostrar la naturaleza poco intuitiva del ejemplo de Stein, consideremos el siguiente ejemplo del mundo real. Supongamos que tenemos que estimar tres parámetros no relacionados, como el rendimiento del trigo en Estados Unidos en 1993, el número de espectadores en el torneo de tenis de Wimbledon en 2001 y el peso de una barra de chocolate elegida al azar en el supermercado. Supongamos que tenemos mediciones gaussianas independientes de cada una de estas cantidades. El ejemplo de Stein nos dice ahora que podemos obtener una mejor estimación (en promedio) para el vector de tres parámetros utilizando simultáneamente las tres mediciones no relacionadas.

A primera vista, parece que, de alguna manera, obtenemos un mejor estimador del rendimiento del trigo estadounidense midiendo otras estadísticas no relacionadas, como el número de espectadores en Wimbledon y el peso de una barra de chocolate. Sin embargo, no hemos obtenido un mejor estimador del rendimiento del trigo estadounidense por sí solo, sino que hemos producido un estimador para el vector de las medias de las tres variables aleatorias, que tiene un riesgo total reducido . Esto ocurre porque el costo de una mala estimación en un componente del vector se compensa con una mejor estimación en otro componente. Además, un conjunto específico de los tres valores medios estimados obtenidos con el nuevo estimador no necesariamente será mejor que el conjunto ordinario (los valores medidos). Es solo en promedio que el nuevo estimador es mejor.

Prueba esbozada

La función de riesgo de la regla de decisión es ${\displaystyle d(\mathbf {x} )=\mathbf {x} }$

${\displaystyle R(\theta ,d)=\operatorname {E} _{\theta }[|{\boldsymbol {\theta }}-\mathbf {X} |^{2}]}$

${\displaystyle =\int ({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{(-1/2)({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )}dx}$

${\displaystyle =n.}$

Consideremos ahora la regla de decisión

${\displaystyle d'(\mathbf {x} )=\mathbf {x} -{\frac {\alpha }{|\mathbf {x} |^{2}}}\mathbf {x} ,}$

donde . Demostraremos que es una regla de decisión mejor que . La función de riesgo es ${\displaystyle \alpha =n-2}$ ${\displaystyle d'}$ ${\displaystyle d}$

${\displaystyle R(\theta ,d')=\operatorname {E} _{\theta }\left[\left|\mathbf {\theta -X} +{\frac {\alpha }{|\mathbf {X} |^{2}}}\mathbf {X} \right|^{2}\right]}$

${\displaystyle =\operatorname {E} _{\theta }\left[|\mathbf {\theta -X} |^{2}+2(\mathbf {\theta -X} )^{T}{\frac {\alpha }{|\mathbf {X} |^{2}}}\mathbf {X} +{\frac {\alpha ^{2}}{|\mathbf {X} |^{4}}}|\mathbf {X} |^{2}\right]}$

${\displaystyle =\operatorname {E} _{\theta }\left[|\mathbf {\theta -X} |^{2}\right]+2\alpha \operatorname {E} _{\theta }\left[{\frac {\mathbf {(\theta -X)} ^{T}\mathbf {X} }{|\mathbf {X} |^{2}}}\right]+\alpha ^{2}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right]}$

— una función cuadrática en . Podemos simplificar el término medio considerando una función general "de buen comportamiento" y utilizando la integración por partes . Para , para cualquier diferenciable continuo que crezca lo suficientemente lento para valores grandes tenemos: ${\displaystyle \alpha }$ ${\displaystyle h:\mathbf {x} \mapsto h(\mathbf {x} )\in \mathbb {R} }$ ${\displaystyle 1\leq i\leq n}$ ${\displaystyle h}$ ${\displaystyle x_{i}}$

${\displaystyle \operatorname {E} _{\theta }[(\theta _{i}-X_{i})h(\mathbf {X} )\mid X_{j}=x_{j}(j\neq i)]=\int (\theta _{i}-x_{i})h(\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{-(1/2)({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )}dx_{i}}$

${\displaystyle =\left[h(\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{-(1/2)({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )}\right]_{x_{i}=-\infty }^{\infty }-\int {\frac {\partial h}{\partial x_{i}}}(\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{-(1/2)({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )}dx_{i}}$

${\displaystyle =-\operatorname {E} _{\theta }\left[{\frac {\partial h}{\partial x_{i}}}(\mathbf {X} )\mid X_{j}=x_{j}(j\neq i)\right].}$

Por lo tanto,

${\displaystyle \operatorname {E} _{\theta }[(\theta _{i}-X_{i})h(\mathbf {X} )]=-\operatorname {E} _{\theta }\left[{\frac {\partial h}{\partial x_{i}}}(\mathbf {X} )\right].}$

(Este resultado se conoce como el lema de Stein ). Ahora, elegimos

${\displaystyle h(\mathbf {x} )={\frac {x_{i}}{|\mathbf {x} |^{2}}}.}$

Si se cumple la condición de "buen comportamiento" (no es así, pero esto se puede remediar, ver más abajo), tendríamos ${\displaystyle h}$

${\displaystyle {\frac {\partial h}{\partial x_{i}}}={\frac {1}{|\mathbf {x} |^{2}}}-{\frac {2x_{i}^{2}}{|\mathbf {x} |^{4}}}}$

y entonces

${\displaystyle \operatorname {E} _{\theta }\left[{\frac {({\boldsymbol {\theta }}-\mathbf {X} )^{T}\mathbf {X} }{|\mathbf {X} |^{2}}}\right]=\sum _{i=1}^{n}\operatorname {E} _{\theta }\left[(\theta _{i}-X_{i}){\frac {X_{i}}{|\mathbf {X} |^{2}}}\right]}$

${\displaystyle =-\sum _{i=1}^{n}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}-{\frac {2X_{i}^{2}}{|\mathbf {X} |^{4}}}\right]}$

${\displaystyle =-(n-2)\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right].}$

Volviendo entonces a la función de riesgo de : ${\displaystyle d'}$

${\displaystyle R(\theta ,d')=n-2\alpha (n-2)\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right]+\alpha ^{2}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right].}$

Esta in cuadrática se minimiza en , dando ${\displaystyle \alpha }$ ${\displaystyle \alpha =n-2}$

${\displaystyle R(\theta ,d')=R(\theta ,d)-(n-2)^{2}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right]}$

lo que por supuesto satisface la regla de tomar una decisión inadmisible. ${\displaystyle R(\theta ,d')<R(\theta ,d).}$ ${\displaystyle d}$

Queda por justificar el uso de

${\displaystyle h(\mathbf {X} )={\frac {\mathbf {X} }{|\mathbf {X} |^{2}}}.}$

Esta función no es continuamente diferenciable, ya que es singular en . Sin embargo, la función ${\displaystyle \mathbf {x} =0}$

${\displaystyle h(\mathbf {X} )={\frac {\mathbf {X} }{\varepsilon +|\mathbf {X} |^{2}}}}$

es continuamente diferenciable, y después de seguir el álgebra hasta y dejando , se obtiene el mismo resultado. ${\displaystyle \varepsilon \to 0}$

Véase también

• Estimador de James-Stein

Notas

1. Efron, B. ; Morris, C. (1977), "La paradoja de Stein en estadística" (PDF) , Scientific American , 236 (5): 119–127, Bibcode :1977SciAm.236e.119E, doi :10.1038/scientificamerican0577-119
2. Brown, LD (1971). "Estimadores admisibles, difusiones recurrentes y problemas de valores en la frontera insolubles". Anales de estadística matemática . 42 (3): 855–903. doi : 10.1214/aoms/1177693318 . ISSN  0003-4851.

Referencias

• Lehmann, EL ; Casella, G. (1998), "cap. 5", Teoría de la estimación puntual (2.ª ed.), ISBN 0-471-05849-1
• Stein, C. (1956). "Inadmisibilidad del estimador usual para la media de una distribución multivariada". Actas del Tercer Simposio de Berkeley sobre Estadística Matemática y Probabilidad . Vol. 1. págs. 197–206. MR  0084922.
• Samworth, RJ (2012), "La paradoja de Stein" (PDF) , Eureka , 62 : 38–41