Estimador invariante

En estadística , el concepto de estimador invariante es un criterio que puede usarse para comparar las propiedades de diferentes estimadores para una misma cantidad. Es una forma de formalizar la idea de que un estimador debe tener ciertas cualidades intuitivamente atractivas. Estrictamente hablando, "invariante" significaría que las estimaciones mismas no cambian cuando tanto las mediciones como los parámetros se transforman de manera compatible, pero el significado se ha ampliado para permitir que las estimaciones cambien de manera apropiada con tales transformaciones. ^[1] El término estimador equivariante se utiliza en contextos matemáticos formales que incluyen una descripción precisa de la relación de la forma en que el estimador cambia en respuesta a cambios en el conjunto de datos y la parametrización: esto corresponde al uso de " equivarianza " en matemáticas más generales. .

Ajustes generales

Fondo

En la inferencia estadística , existen varios enfoques de la teoría de la estimación que pueden usarse para decidir inmediatamente qué estimadores deben usarse de acuerdo con esos enfoques. Por ejemplo, las ideas de la inferencia bayesiana conducirían directamente a estimadores bayesianos . De manera similar, la teoría de la inferencia estadística clásica a veces puede llevar a conclusiones sólidas sobre qué estimador debería utilizarse. Sin embargo, la utilidad de estas teorías depende de tener un modelo estadístico completamente prescrito y también puede depender de tener una función de pérdida relevante para determinar el estimador. Por lo tanto , se podría realizar un análisis bayesiano , que conduzca a una distribución posterior de los parámetros relevantes, pero el uso de una función de utilidad o pérdida específica puede no estar claro. Luego se pueden aplicar ideas de invariancia a la tarea de resumir la distribución posterior. En otros casos, los análisis estadísticos se llevan a cabo sin un modelo estadístico completamente definido o la teoría clásica de la inferencia estadística no puede aplicarse fácilmente porque la familia de modelos que se consideran no son susceptibles de tal tratamiento. Además de estos casos en los que la teoría general no prescribe un estimador, el concepto de invariancia de un estimador se puede aplicar cuando se buscan estimadores de formas alternativas, ya sea por simplicidad de aplicación del estimador o para que el estimador sea robusto .

El concepto de invariancia a veces se utiliza por sí solo como una forma de elegir entre estimadores, pero esto no es necesariamente definitivo. Por ejemplo, un requisito de invariancia puede ser incompatible con el requisito de que el estimador sea insesgado en la media ; por otro lado, el criterio de insesgación de la mediana se define en términos de la distribución muestral del estimador y, por lo tanto, es invariante bajo muchas transformaciones.

Un uso del concepto de invarianza es cuando se propone una clase o familia de estimadores y se debe seleccionar una formulación particular entre ellos. Un procedimiento consiste en imponer propiedades de invariancia relevantes y luego encontrar la formulación dentro de esta clase que tenga las mejores propiedades, lo que lleva a lo que se llama el estimador invariante óptimo.

Algunas clases de estimadores invariantes

Hay varios tipos de transformaciones que se consideran útiles cuando se trata de estimadores invariantes. Cada uno da lugar a una clase de estimadores que son invariantes para esos tipos particulares de transformación.

• Invariancia de cambio: teóricamente, las estimaciones de un parámetro de ubicación deberían ser invariantes ante cambios simples de los valores de los datos. Si todos los valores de los datos aumentan en una cantidad determinada, la estimación debería cambiar en la misma cantidad. Al considerar la estimación utilizando un promedio ponderado , este requisito de invariancia implica inmediatamente que las ponderaciones deben sumar uno. Si bien el mismo resultado a menudo se deriva del requisito de imparcialidad, el uso de "invariancia" no requiere que exista un valor medio y no utiliza ninguna distribución de probabilidad.
• Invariancia de escala: tenga en cuenta que este tema sobre la invariancia del parámetro de escala del estimador no debe confundirse con la invariancia de escala más general sobre el comportamiento de sistemas bajo propiedades agregadas (en física).
• Invariancia de transformación de parámetros: aquí, la transformación se aplica solo a los parámetros. El concepto aquí es que esencialmente se debe hacer la misma inferencia a partir de datos y un modelo que involucra un parámetro θ que se haría a partir de los mismos datos si el modelo usara un parámetro φ, donde φ es una transformación uno a uno de θ, φ= h (θ). Según este tipo de invariancia, los resultados de los estimadores invariantes de transformación también deberían estar relacionados por φ= h (θ). Los estimadores de máxima verosimilitud tienen esta propiedad cuando la transformación es monótona . Aunque las propiedades asintóticas del estimador pueden ser invariantes, las propiedades de muestras pequeñas pueden ser diferentes y es necesario derivar una distribución específica. ^[2]
• Invariancia de permutación: cuando un conjunto de valores de datos puede representarse mediante un modelo estadístico como resultados de variables aleatorias independientes e idénticamente distribuidas , es razonable imponer el requisito de que cualquier estimador de cualquier propiedad de la distribución común sea invariante de permutación. : específicamente que el estimador, considerado como una función del conjunto de valores de datos, no debe cambiar si se intercambian elementos de datos dentro del conjunto de datos.

La combinación de invariancia de permutación e invariancia de ubicación para estimar un parámetro de ubicación a partir de un conjunto de datos independiente e idénticamente distribuido utilizando un promedio ponderado implica que las ponderaciones deben ser idénticas y sumar uno. Por supuesto, pueden ser preferibles estimadores distintos del promedio ponderado.

Estimadores invariantes óptimos

Bajo esta configuración, se nos proporciona un conjunto de mediciones que contienen información sobre un parámetro desconocido . Las mediciones se modelan como una variable aleatoria vectorial que tiene una función de densidad de probabilidad que depende de un vector de parámetros . ${\displaystyle x}$ ${\displaystyle \theta }$ ${\displaystyle x}$ ${\displaystyle f(x|\theta )}$ ${\displaystyle \theta }$

El problema es estimar dado . La estimación, denotada por , es función de las medidas y pertenece a un conjunto . La calidad del resultado está definida por una función de pérdida que determina una función de riesgo . Los conjuntos de valores posibles de , y se denotan por , y , respectivamente. ${\displaystyle \theta }$ ${\displaystyle x}$ ${\displaystyle a}$ ${\displaystyle A}$ ${\displaystyle L=L(a,\theta )}$ ${\displaystyle R=R(a,\theta )=E[L(a,\theta )|\theta ]}$ ${\displaystyle x}$ ${\displaystyle \theta }$ ${\displaystyle a}$ ${\displaystyle X}$ ${\displaystyle \Theta }$ ${\displaystyle A}$

en clasificación

En clasificación estadística , la regla que asigna una clase a un nuevo elemento de datos puede considerarse un tipo especial de estimador. Se pueden aplicar una serie de consideraciones de tipo invariante al formular conocimientos previos para el reconocimiento de patrones .

Entorno matemático

Definición

Un estimador invariante es un estimador que obedece las dos reglas siguientes: ^{[ cita necesaria ]}

1. Principio de Invariancia Racional: La acción tomada en un problema de decisión no debe depender de la transformación de la medida utilizada.
2. Principio de invariancia: si dos problemas de decisión tienen la misma estructura formal (en términos de , y ) , entonces se debe utilizar la misma regla de decisión en cada problema. ${\displaystyle X}$ ${\displaystyle \Theta }$ ${\displaystyle f(x|\theta )}$ ${\displaystyle L}$

Para definir formalmente un estimador invariante o equivariante, primero se necesitan algunas definiciones relacionadas con grupos de transformaciones. Denotemos el conjunto de posibles muestras de datos. Un grupo de transformaciones de , que se denotará por , es un conjunto de transformaciones (medibles) 1:1 y sobre de en sí mismo, que satisface las siguientes condiciones: ${\displaystyle X}$ ${\displaystyle X}$ ${\displaystyle G}$ ${\displaystyle X}$

1. Si y entonces ${\displaystyle g_{1}\in G}$ ${\displaystyle g_{2}\in G}$ ${\displaystyle g_{1}g_{2}\in G\,}$
2. Si entonces , donde (Es decir, cada transformación tiene una inversa dentro del grupo). ${\displaystyle g\in G}$ ${\displaystyle g^{-1}\in G}$ ${\displaystyle g^{-1}(g(x))=x\,.}$
3. ${\displaystyle e\in G}$(es decir, hay una transformación de identidad ) ${\displaystyle e(x)=x\,}$

Los conjuntos de datos y en son equivalentes para algunos . Todos los puntos equivalentes forman una clase de equivalencia . Esta clase de equivalencia se llama órbita (en ). La órbita, , es el conjunto . Si consta de una sola órbita se dice que es transitiva. ${\displaystyle x_{1}}$ ${\displaystyle x_{2}}$ ${\displaystyle X}$ ${\displaystyle x_{1}=g(x_{2})}$ ${\displaystyle g\in G}$ ${\displaystyle X}$ ${\displaystyle x_{0}}$ ${\displaystyle X(x_{0})}$ ${\displaystyle X(x_{0})=\{g(x_{0}):g\in G\}}$ ${\displaystyle X}$ ${\displaystyle g}$

Se dice que una familia de densidades es invariante bajo el grupo si, para cada y existe un tal único que tiene densidad . se denotará . ${\displaystyle F}$ ${\displaystyle G}$ ${\displaystyle g\in G}$ ${\displaystyle \theta \in \Theta }$ ${\displaystyle \theta ^{*}\in \Theta }$ ${\displaystyle Y=g(x)}$ ${\displaystyle f(y|\theta ^{*})}$ ${\displaystyle \theta ^{*}}$ ${\displaystyle {\bar {g}}(\theta )}$

Si es invariante bajo el grupo , entonces se dice que la función de pérdida es invariante bajo si para cada y existe tal que para todos . El valor transformado se denotará por . ${\displaystyle F}$ ${\displaystyle G}$ ${\displaystyle L(\theta ,a)}$ ${\displaystyle G}$ ${\displaystyle g\in G}$ ${\displaystyle a\in A}$ ${\displaystyle a^{*}\in A}$ ${\displaystyle L(\theta ,a)=L({\bar {g}}(\theta ),a^{*})}$ ${\displaystyle \theta \in \Theta }$ ${\displaystyle a^{*}}$ ${\displaystyle {\tilde {g}}(a)}$

En lo anterior, hay un grupo de transformaciones desde hacia sí mismo y es un grupo de transformaciones desde hacia sí mismo. ${\displaystyle {\bar {G}}=\{{\bar {g}}:g\in G\}}$ ${\displaystyle \Theta }$ ${\displaystyle {\tilde {G}}=\{{\tilde {g}}:g\in G\}}$ ${\displaystyle A}$

Un problema de estimación es invariante (equivariante) si existen tres grupos como se define anteriormente. ${\displaystyle G}$ ${\displaystyle G,{\bar {G}},{\tilde {G}}}$

Para un problema de estimación que es invariante bajo , el estimador es un estimador invariante bajo si, para todos y , ${\displaystyle G}$ ${\displaystyle \delta (x)}$ ${\displaystyle G}$ ${\displaystyle x\in X}$ ${\displaystyle g\in G}$

${\displaystyle \delta (g(x))={\tilde {g}}(\delta (x)).}$

Propiedades

1. La función de riesgo de un estimador invariante, es constante en órbitas de . Equivalentemente para todos y . ${\displaystyle \delta }$ ${\displaystyle \Theta }$ ${\displaystyle R(\theta ,\delta )=R({\bar {g}}(\theta ),\delta )}$ ${\displaystyle \theta \in \Theta }$ ${\displaystyle {\bar {g}}\in {\bar {G}}}$
2. La función de riesgo de un estimador invariante con transitiva es constante. ${\displaystyle {\bar {g}}}$

Para un problema determinado, el estimador invariante con menor riesgo se denomina "mejor estimador invariante". No siempre se puede lograr el mejor estimador invariante. Un caso especial en el que se puede lograr es el caso en el que es transitivo. ${\displaystyle {\bar {g}}}$

Ejemplo: parámetro de ubicación

Supongamos que es un parámetro de ubicación si la densidad de tiene la forma . Para y , el problema es invariante bajo . El estimador invariante en este caso debe satisfacer ${\displaystyle \theta }$ ${\displaystyle X}$ ${\displaystyle f(x-\theta )}$ ${\displaystyle \Theta =A=\mathbb {R} ^{1}}$ ${\displaystyle L=L(a-\theta )}$ ${\displaystyle g={\bar {g}}={\tilde {g}}=\{g_{c}:g_{c}(x)=x+c,c\in \mathbb {R} \}}$

${\displaystyle \delta (x+c)=\delta (x)+c,{\text{ for all }}c\in \mathbb {R} ,}$

por tanto es de la forma ( ). es transitivo por lo que el riesgo no varía con : es decir, . El mejor estimador invariante es aquel que reduce el riesgo al mínimo. ${\displaystyle \delta (x)=x+K}$ ${\displaystyle K\in \mathbb {R} }$ ${\displaystyle {\bar {g}}}$ ${\displaystyle \Theta }$ ${\displaystyle \theta }$ ${\displaystyle R(\theta ,\delta )=R(0,\delta )=\operatorname {E} [L(X+K)|\theta =0]}$ ${\displaystyle R(\theta ,\delta )}$

En el caso de que L sea el error al cuadrado ${\displaystyle \delta (x)=x-\operatorname {E} [X|\theta =0].}$

estimador pitman

El problema de estimación es que tiene densidad , donde θ es un parámetro a estimar y donde la función de pérdida es . Este problema es invariante con los siguientes grupos de transformación (aditivos): ${\displaystyle X=(X_{1},\dots ,X_{n})}$ ${\displaystyle f(x_{1}-\theta ,\dots ,x_{n}-\theta )}$ ${\displaystyle L(|a-\theta |)}$

${\displaystyle G=\{g_{c}:g_{c}(x)=(x_{1}+c,\dots ,x_{n}+c),c\in \mathbb {R} ^{1}\},}$

${\displaystyle {\bar {G}}=\{g_{c}:g_{c}(\theta )=\theta +c,c\in \mathbb {R} ^{1}\},}$

${\displaystyle {\tilde {G}}=\{g_{c}:g_{c}(a)=a+c,c\in \mathbb {R} ^{1}\}.}$

El mejor estimador invariante es el que minimiza ${\displaystyle \delta (x)}$

${\displaystyle {\frac {\int _{-\infty }^{\infty }L(\delta (x)-\theta )f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }},}$

y este es el estimador de Pitman (1939).

Para el caso de pérdida por error al cuadrado, el resultado es

${\displaystyle \delta (x)={\frac {\int _{-\infty }^{\infty }\theta f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }}.}$

Si (es decir, una distribución normal multivariada con componentes independientes de varianza unitaria), entonces ${\displaystyle x\sim N(\theta 1_{n},I)\,\!}$

${\displaystyle \delta _{\text{Pitman}}=\delta _{ML}={\frac {\sum {x_{i}}}{n}}.}$

Si (componentes independientes que tienen una distribución de Cauchy con parámetro de escala σ ), entonces ,. Sin embargo el resultado es ${\displaystyle x\sim C(\theta 1_{n},I\sigma ^{2})\,\!}$ ${\displaystyle \delta _{\text{Pitman}}\neq \delta _{ML}}$

${\displaystyle \delta _{\text{Pitman}}=\sum _{k=1}^{n}{x_{k}\left[{\frac {{\text{Re}}\{w_{k}\}}{\sum _{m=1}^{n}{{\text{Re}}\{w_{k}\}}}}\right]},\qquad n>1,}$

con

${\displaystyle w_{k}=\prod _{j\neq k}\left[{\frac {1}{(x_{k}-x_{j})^{2}+4\sigma ^{2}}}\right]\left[1-{\frac {2\sigma }{(x_{k}-x_{j})}}i\right].}$

Referencias

1. consulte la sección 5.2.1 en Gourieroux, C. y Monfort, A. (1995). Estadísticas y modelos econométricos, volumen 1. Cambridge University Press.
2. Gouriéroux y Monfort (1995)

• Berger, James O. (1985). Teoría de la decisión estadística y análisis bayesiano (2ª ed.). Nueva York: Springer-Verlag. ISBN 0-387-96098-8. SEÑOR  0804611.^{[ página necesaria ]}
• Freue, Gabriela V. Cohen (2007). "El estimador Pitman del parámetro de ubicación de Cauchy". Revista de planificación e inferencia estadística . 137 (6): 1900-1913. doi :10.1016/j.jspi.2006.05.002.
• Pitman, EJG (1939). "La estimación de los parámetros de ubicación y escala de una población continua de cualquier forma dada". Biometrika . 30 (3/4): 391–421. doi :10.1093/biomet/30.3-4.391. JSTOR  2332656.
• Pitman, EJG (1939). "Pruebas de hipótesis relativas a la ubicación y los parámetros de escala". Biometrika . 31 (1/2): 200–215. doi :10.1093/biomet/31.1-2.200. JSTOR  2334983.