MINQUÉ

Teoría en el campo de la estadística.

En estadística , la teoría de estimación insesgada cuadrática de norma mínima (MINQUE) ^{[1] [2] [3]} fue desarrollada por CR Rao . MINQUE es una teoría junto a otros métodos de estimación en teoría de estimación , como el método de momentos o estimación de máxima verosimilitud . De manera similar a la teoría de la mejor estimación lineal insesgada , MINQUE se ocupa específicamente de los modelos de regresión lineal . ^[1] El método fue concebido originalmente para estimar la varianza del error heterocedástico en regresión lineal múltiple. ^[1] Los estimadores MINQUE también proporcionan una alternativa a los estimadores de máxima verosimilitud o estimadores de máxima verosimilitud restringidos para componentes de varianza en modelos de efectos mixtos . ^[3] Los estimadores MINQUE son formas cuadráticas de la variable respuesta y se utilizan para estimar una función lineal de las varianzas.

Principios

Nos ocupamos de un modelo de efectos mixtos para el vector aleatorio con la siguiente estructura lineal. ${\displaystyle \mathbf {Y} \in \mathbb {R} ^{n}}$

${\displaystyle \mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+\mathbf {U} _{1}{\boldsymbol {\xi }}_{1}+\cdots +\mathbf {U} _{k}{\boldsymbol {\xi }}_{k}}$

Aquí, hay una matriz de diseño para los efectos fijos, representa los parámetros desconocidos de los efectos fijos, es una matriz de diseño para el -ésimo componente de efectos aleatorios y es un vector aleatorio para el -ésimo componente de efectos aleatorios. Se supone que los efectos aleatorios tienen media cero ( ) y no están correlacionados ( ). Además, dos vectores de efectos aleatorios cualesquiera tampoco están correlacionados ( ). Las varianzas desconocidas representan los componentes de varianza del modelo. ${\displaystyle \mathbf {X} \in \mathbb {R} ^{n\times m}}$ ${\displaystyle {\boldsymbol {\beta }}\in \mathbb {R} ^{m}}$ ${\displaystyle \mathbf {U} _{i}\in \mathbb {R} ^{n\times c_{i}}}$ ${\displaystyle i}$ ${\displaystyle {\boldsymbol {\xi }}_{i}\in \mathbb {R} ^{c_{i}}}$ ${\displaystyle i}$ ${\displaystyle \mathbb {E} [{\boldsymbol {\xi }}_{i}]=\mathbf {0} }$ ${\displaystyle \mathbb {V} [{\boldsymbol {\xi }}_{i}]=\sigma _{i}^{2}\mathbf {I} _{c_{i}}}$ ${\displaystyle \mathbb {V} [{\boldsymbol {\xi }}_{i},{\boldsymbol {\xi }}_{j}]=\mathbf {0} \,\forall i\neq j}$ ${\displaystyle \sigma _{1}^{2},\cdots ,\sigma _{k}^{2}}$

Este es un modelo general que captura modelos de regresión lineal comúnmente utilizados.

1. Modelo de Gauss-Markov ^[3] : Si consideramos un modelo de un componente donde , entonces el modelo es equivalente al modelo de Gauss-Markov con y . ${\displaystyle \mathbf {U} _{1}=\mathbf {I} _{n}}$ ${\displaystyle \mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\epsilon }}}$ ${\displaystyle \mathbb {E} [{\boldsymbol {\epsilon }}]=\mathbf {0} }$ ${\displaystyle \mathbb {V} [{\boldsymbol {\epsilon }}]=\sigma _{1}^{2}\mathbf {I} _{n}}$
2. Modelo heterocedástico ^[1] : Cada conjunto de variables aleatorias que comparte una varianza común se puede modelar como un componente de varianza individual con un apropiado . ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {U} _{i}}$

Una representación compacta del modelo es la siguiente, donde y . ${\displaystyle \mathbf {U} =\left[{\begin{array}{c|c|c}\mathbf {U} _{1}&\cdots &\mathbf {U} _{k}\end{array}}\right]}$ ${\displaystyle {\boldsymbol {\xi }}^{\top }=\left[{\begin{array}{c|c|c}{\boldsymbol {\xi }}_{1}^{\top }&\cdots &{\boldsymbol {\xi }}_{k}^{\top }\end{array}}\right]}$

${\displaystyle \mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+\mathbf {U} {\boldsymbol {\xi }}}$

Tenga en cuenta que este modelo no hace suposiciones distributivas sobre otros momentos excepto el primero y el segundo. ^[3] ${\displaystyle \mathbf {Y} }$

${\displaystyle \mathbb {E} [\mathbf {Y} ]=\mathbf {X} {\boldsymbol {\beta }}}$

${\displaystyle \mathbb {V} [\mathbf {Y} ]=\sigma _{1}^{2}\mathbf {U} _{1}\mathbf {U} _{1}^{\top }+\cdots +\sigma _{k}^{2}\mathbf {U} _{k}\mathbf {U} _{k}^{\top }\equiv \sigma _{1}^{2}\mathbf {V} _{1}+\cdots +\sigma _{k}^{2}\mathbf {V} _{k}}$

El objetivo en MINQUE es estimar usando una forma cuadrática . Los estimadores MINQUE se obtienen identificando una matriz tal que el estimador tenga algunas propiedades deseables, ^{[2] [3]} que se describen a continuación. ${\displaystyle \theta =\sum _{i=1}^{k}p_{i}\sigma _{i}^{2}}$ ${\displaystyle {\hat {\theta }}=\mathbf {Y} ^{\top }\mathbf {A} \mathbf {Y} }$ ${\displaystyle \mathbf {A} }$

Propiedades óptimas del estimador para restringir MINQUE

Invariancia a la traducción de los efectos fijos.

Considere un nuevo parámetro de efecto fijo , que representa una traducción del efecto fijo original. El nuevo modelo equivalente es ahora el siguiente. ${\displaystyle {\boldsymbol {\gamma }}={\boldsymbol {\beta }}-{\boldsymbol {\beta }}_{0}}$

${\displaystyle \mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}_{0}=\mathbf {X} {\boldsymbol {\gamma }}+\mathbf {U} {\boldsymbol {\xi }}}$

Bajo este modelo equivalente, el estimador MINQUE ahora es . Rao argumentó que dado que los modelos subyacentes son equivalentes, este estimador debería ser igual a . ^{[2] [3]} Esto se puede lograr restringiendo de modo que , lo que garantiza que todos los términos excepto en la expansión de la forma cuadrática sean cero. ${\displaystyle (\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}_{0})^{\top }\mathbf {A} (\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}_{0})}$ ${\displaystyle \mathbf {Y} ^{\top }\mathbf {A} \mathbf {Y} }$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathbf {A} \mathbf {X} =\mathbf {0} }$ ${\displaystyle \mathbf {Y} ^{\top }\mathbf {A} \mathbf {Y} }$

Estimación imparcial

Supongamos que restringimos , como se argumentó en la sección anterior. Entonces, el estimador MINQUE tiene la siguiente forma ${\displaystyle \mathbf {A} \mathbf {X} =\mathbf {0} }$

${\displaystyle {\begin{aligned}{\hat {\theta }}&=\mathbf {Y} ^{\top }\mathbf {A} \mathbf {Y} \\&=(\mathbf {X} {\boldsymbol {\beta }}+\mathbf {U} {\boldsymbol {\xi }})^{\top }\mathbf {A} (\mathbf {X} {\boldsymbol {\beta }}+\mathbf {U} {\boldsymbol {\xi }})\\&={\boldsymbol {\xi }}^{\top }\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} {\boldsymbol {\xi }}\end{aligned}}}$

Para garantizar que este estimador sea insesgado , la expectativa del estimador debe ser igual al parámetro de interés ,. A continuación, la expectativa del estimador se puede descomponer para cada componente, ya que los componentes no están correlacionados entre sí. Además, la propiedad cíclica de la traza se utiliza para evaluar la expectativa con respecto a . ${\displaystyle \mathbb {E} [{\hat {\theta }}]}$ ${\displaystyle \theta }$ ${\displaystyle {\boldsymbol {\xi }}_{i}}$

${\displaystyle {\begin{aligned}\mathbb {E} [{\hat {\theta }}]&=\mathbb {E} [{\boldsymbol {\xi }}^{\top }\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} {\boldsymbol {\xi }}]\\&=\sum _{i=1}^{k}\mathbb {E} [{\boldsymbol {\xi }}_{i}^{\top }\mathbf {U} _{i}^{\top }\mathbf {A} \mathbf {U} _{i}{\boldsymbol {\xi }}_{i}]\\&=\sum _{i=1}^{k}\sigma _{i}^{2}\mathrm {Tr} [\mathbf {U} _{i}^{\top }\mathbf {A} \mathbf {U} _{i}]\end{aligned}}}$

Para garantizar que este estimador sea imparcial, Rao sugirió establecer , lo que se puede lograr restringiendo tal que para todos los componentes. ^[3] ${\displaystyle \sum _{i=1}^{k}\sigma _{i}^{2}\mathrm {Tr} [\mathbf {U} _{i}^{\top }\mathbf {A} \mathbf {U} _{i}]=\sum _{i=1}^{k}p_{i}\sigma _{i}^{2}}$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathrm {Tr} [\mathbf {U} _{i}^{\top }\mathbf {A} \mathbf {U} _{i}]=\mathrm {Tr} [\mathbf {A} \mathbf {V} _{i}]=p_{i}}$

Norma mínima

Rao sostiene que si se observaran, un estimador "natural" de sería el siguiente ^{[2] [3]} ya que . Aquí, se define como una matriz diagonal . ${\displaystyle {\boldsymbol {\xi }}}$ ${\displaystyle \theta }$ ${\displaystyle \mathbb {E} [{\boldsymbol {\xi }}_{i}^{\top }{\boldsymbol {\xi }}_{i}]=c_{i}\sigma _{i}^{2}}$ ${\displaystyle {\boldsymbol {\Delta }}}$

${\displaystyle {\frac {p_{1}}{c_{1}}}{\boldsymbol {\xi }}_{1}^{\top }{\boldsymbol {\xi }}_{1}+\cdots +{\frac {p_{k}}{c_{k}}}{\boldsymbol {\xi }}_{k}^{\top }{\boldsymbol {\xi }}_{k}={\boldsymbol {\xi }}^{\top }\left[\mathrm {diag} \left({\frac {p_{1}}{c_{i}}},\cdots ,{\frac {p_{k}}{c_{k}}}\right)\right]{\boldsymbol {\xi }}\equiv {\boldsymbol {\xi }}^{\top }{\boldsymbol {\Delta }}{\boldsymbol {\xi }}}$

La diferencia entre el estimador propuesto y el estimador natural es . Esta diferencia se puede minimizar minimizando la norma de la matriz . ${\displaystyle {\boldsymbol {\xi }}^{\top }(\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }}){\boldsymbol {\xi }}}$ ${\displaystyle \lVert \mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }}\rVert }$

Procedimiento

Dadas las restricciones y la estrategia de optimización derivadas de las propiedades óptimas anteriores, el estimador MINQUE para se obtiene eligiendo una matriz que minimice , sujeta a las restricciones. ${\displaystyle {\hat {\theta }}}$ ${\displaystyle \theta =\sum _{i=1}^{k}p_{i}\sigma _{i}^{2}}$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \lVert \mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }}\rVert }$

1. ${\displaystyle \mathbf {A} \mathbf {X} =\mathbf {0} }$, y
2. ${\displaystyle \mathrm {Tr} [\mathbf {A} \mathbf {V} _{i}]=p_{i}}$.

Ejemplos de estimadores

Estimador estándar del error homocedástico

En el modelo de Gauss-Markov , la varianza del error se estima utilizando lo siguiente. ${\displaystyle \sigma ^{2}}$

${\displaystyle s^{2}={\frac {1}{n-m}}(\mathbf {Y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\top }(\mathbf {Y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})}$

Este estimador es insesgado y se puede demostrar que minimiza la norma euclidiana de la forma . ^[1] Por tanto, el estimador estándar de la varianza del error en el modelo de Gauss-Markov es un estimador MINQUE. ${\displaystyle \lVert \mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }}\rVert }$

Variables aleatorias con media común y error heterocedástico

Para variables aleatorias con media común y varianzas diferentes , el estimador MINQUE para es , donde y . ^[1] ${\displaystyle Y_{1},\cdots ,Y_{n}}$ ${\displaystyle \sigma _{1}^{2},\cdots ,\sigma _{n}^{2}}$ ${\displaystyle \sigma _{i}^{2}}$ ${\displaystyle {\frac {n}{n-2}}(Y_{i}-{\overline {Y}})^{2}-{\frac {s^{2}}{n-2}}}$ ${\displaystyle {\overline {Y}}={\frac {1}{n}}\sum _{i=1}^{n}Y_{i}}$ ${\displaystyle s^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(Y_{i}-{\overline {Y}})^{2}}$

Estimador de componentes de varianza

Rao propuso un estimador MINQUE para el modelo de componentes de la varianza basado en minimizar la norma euclidiana . ^[2] La norma euclidiana es la raíz cuadrada de la suma de los cuadrados de todos los elementos de la matriz. Al evaluar esta norma a continuación, . Además, utilizando la propiedad cíclica de las trazas ,. ${\displaystyle \lVert \cdot \rVert _{2}}$ ${\displaystyle \mathbf {V} =\mathbf {V} _{1}+\cdots +\mathbf {V} _{k}=\mathbf {U} \mathbf {U} ^{\top }}$ ${\displaystyle \mathrm {Tr} [\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} {\boldsymbol {\Delta }}]=\mathrm {Tr} [\mathbf {A} \mathbf {U} {\boldsymbol {\Delta }}\mathbf {U} ^{\top }]=\mathrm {Tr} \left[\sum _{i=1}^{k}{\frac {p_{i}}{c_{i}}}\mathbf {A} \mathbf {V} _{i}\right]=\mathrm {Tr} [{\boldsymbol {\Delta }}{\boldsymbol {\Delta }}]}$

${\displaystyle {\begin{aligned}\lVert \mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }}\rVert _{2}^{2}&=(\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }})^{\top }(\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }})\\&=\mathrm {Tr} [\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} \mathbf {U} \mathbf {A} \mathbf {U} ^{\top }]-\mathrm {Tr} [2\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} {\boldsymbol {\Delta }}]+\mathrm {Tr} [{\boldsymbol {\Delta }}{\boldsymbol {\Delta }}]\\&=\mathrm {Tr} [\mathbf {A} \mathbf {V} \mathbf {A} \mathbf {V} ]-\mathrm {Tr} [{\boldsymbol {\Delta }}{\boldsymbol {\Delta }}]\end{aligned}}}$

Tenga en cuenta que, dado que no depende de , el MINQUE con la norma euclidiana se obtiene identificando la matriz que minimiza , sujeta a las restricciones de MINQUE analizadas anteriormente. ${\displaystyle \mathrm {Tr} [{\boldsymbol {\Delta }}{\boldsymbol {\Delta }}]}$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathrm {Tr} [\mathbf {A} \mathbf {V} \mathbf {A} \mathbf {V} ]}$

Rao demostró que la matriz que satisface este problema de optimización es ${\displaystyle \mathbf {A} }$

${\displaystyle \mathbf {A} _{\star }=\sum _{i=1}^{k}\lambda _{i}\mathbf {R} \mathbf {V} _{i}\mathbf {R} }$,

donde , es la matriz de proyección en el espacio columna de , y representa la inversa generalizada de una matriz. ${\displaystyle \mathbf {R} =\mathbf {V} ^{-1}(\mathbf {I} -\mathbf {P} )}$ ${\displaystyle \mathbf {P} =\mathbf {X} (\mathbf {X} ^{\top }\mathbf {V} ^{-1}\mathbf {X} )^{-}\mathbf {X} ^{\top }\mathbf {V} ^{-1}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle (\cdot )^{-}}$

Por lo tanto el estimador MINQUE es el siguiente, donde los vectores y se definen en base a la suma. ${\displaystyle {\boldsymbol {\lambda }}}$ ${\displaystyle \mathbf {Q} }$

${\displaystyle {\begin{aligned}{\hat {\theta }}&=\mathbf {Y} ^{\top }\mathbf {A} _{\star }\mathbf {Y} \\&=\sum _{i=1}^{k}\lambda _{i}\mathbf {Y} ^{\top }\mathbf {R} \mathbf {V} _{i}\mathbf {R} \mathbf {Y} \\&\equiv \sum _{i=1}^{k}\lambda _{i}Q_{i}\\&\equiv {\boldsymbol {\lambda }}^{\top }\mathbf {Q} \end{aligned}}}$

El vector se obtiene usando la restricción . Es decir, el vector representa la solución del siguiente sistema de ecuaciones . ${\displaystyle {\boldsymbol {\lambda }}}$ ${\displaystyle \mathrm {Tr} [\mathbf {A} _{\star }\mathbf {V} _{i}]=p_{i}}$ ${\displaystyle \forall j\in \{1,\cdots ,k\}}$

${\displaystyle {\begin{aligned}\mathrm {Tr} [\mathbf {A} _{\star }\mathbf {V} _{j}]&=p_{j}\\\mathrm {Tr} \left[\sum _{i=1}^{k}\lambda _{i}\mathbf {R} \mathbf {V} _{i}\mathbf {R} \mathbf {V} _{j}\right]&=p_{j}\\\sum _{i=1}^{k}\lambda _{i}\mathrm {Tr} [\mathbf {R} \mathbf {V} _{i}\mathbf {R} \mathbf {V} _{j}]&=p_{j}\end{aligned}}}$

Esto se puede escribir como un producto matricial , donde y es lo siguiente. ${\displaystyle \mathbf {S} {\boldsymbol {\lambda }}=\mathbf {p} }$ ${\displaystyle \mathbf {p} =[p_{1}\,\cdots \,p_{k}]^{\top }}$ ${\displaystyle \mathbf {S} }$

${\displaystyle \mathbf {S} ={\begin{bmatrix}\mathrm {Tr} [\mathbf {R} \mathbf {V} _{1}\mathbf {R} \mathbf {V} _{1}]&\cdots &\mathrm {Tr} [\mathbf {R} \mathbf {V} _{k}\mathbf {R} \mathbf {V} _{1}]\\\vdots &\ddots &\vdots \\\mathrm {Tr} [\mathbf {R} \mathbf {V} _{1}\mathbf {R} \mathbf {V} _{k}]&\cdots &\mathrm {Tr} [\mathbf {R} \mathbf {V} _{k}\mathbf {R} \mathbf {V} _{k}]\end{bmatrix}}}$

Entonces, . Esto implica que el MINQUE es . Tenga en cuenta que , donde . Por tanto, el estimador de los componentes de la varianza es . ${\displaystyle {\boldsymbol {\lambda }}=\mathbf {S} ^{-}\mathbf {p} }$ ${\displaystyle {\hat {\theta }}={\boldsymbol {\lambda }}^{\top }\mathbf {Q} =\mathbf {p} ^{\top }(\mathbf {S} ^{-})^{\top }\mathbf {Q} =\mathbf {p} ^{\top }\mathbf {S} ^{-}\mathbf {Q} }$ ${\displaystyle \theta =\sum _{i=1}^{k}p_{i}\sigma _{i}^{2}=\mathbf {p} ^{\top }{\boldsymbol {\sigma }}}$ ${\displaystyle {\boldsymbol {\sigma }}=[\sigma _{1}^{2}\,\cdots \,\sigma _{k}^{2}]^{\top }}$ ${\displaystyle {\hat {\boldsymbol {\sigma }}}=\mathbf {S} ^{-}\mathbf {Q} }$

Extensiones

Los estimadores MINQUE se pueden obtener sin los criterios de invarianza, en cuyo caso el estimador sólo es insesgado y minimiza la norma. ^[2] Dichos estimadores tienen restricciones ligeramente diferentes en el problema de minimización.

El modelo se puede ampliar para estimar los componentes de la covarianza. ^[3] En dicho modelo, se supone que los efectos aleatorios de un componente tienen una estructura de covarianza común . También se propuso un estimador MINQUE para una mezcla de componentes de varianza y covarianza. ^[3] En este modelo, para y para . ${\displaystyle \mathbb {V} [{\boldsymbol {\xi }}_{i}]={\boldsymbol {\Sigma }}}$ ${\displaystyle \mathbb {V} [{\boldsymbol {\xi }}_{i}]={\boldsymbol {\Sigma }}}$ ${\displaystyle i\in \{1,\cdots ,s\}}$ ${\displaystyle \mathbb {V} [{\boldsymbol {\xi }}_{i}]=\sigma _{i}^{2}\mathbf {I} _{c_{i}}}$ ${\displaystyle i\in \{s+1,\cdots ,k\}}$

Referencias

1. Rao, CR (1970). "Estimación de varianzas heteroscedásticas en modelos lineales". Revista de la Asociación Estadounidense de Estadística . 65 (329): 161-172. doi :10.1080/01621459.1970.10481070. JSTOR  2283583.
2. Rao, CR (1971). "Estimación de los componentes de varianza y covarianza Teoría MINQUE". J Multivar Anal . 1 : 257–275. doi :10.1016/0047-259x(71)90001-7. hdl : 10338.dmlcz/104230 .
3. Rao, CR (1972). "Estimación de componentes de varianza y covarianza en modelos lineales". Revista de la Asociación Estadounidense de Estadística . 67 (337): 112-115. doi :10.1080/01621459.1972.10481212. JSTOR  2284708.