MINQUE

Teoría en el campo de la estadística

En estadística , la teoría de estimación cuadrática insesgada de norma mínima (MINQUE) ^{[1] [2] [3]} fue desarrollada por CR Rao . MINQUE es una teoría junto con otros métodos de estimación en la teoría de estimación , como el método de momentos o la estimación de máxima verosimilitud . Similar a la teoría de la mejor estimación lineal insesgada , MINQUE se ocupa específicamente de los modelos de regresión lineal . ^[1] El método fue concebido originalmente para estimar la varianza del error heterocedástico en la regresión lineal múltiple. ^[1] Los estimadores MINQUE también proporcionan una alternativa a los estimadores de máxima verosimilitud o estimadores de máxima verosimilitud restringida para los componentes de varianza en modelos de efectos mixtos . ^[3] Los estimadores MINQUE son formas cuadráticas de la variable de respuesta y se utilizan para estimar una función lineal de las varianzas.

Principios

Nos ocupamos de un modelo de efectos mixtos para el vector aleatorio con la siguiente estructura lineal. ${\displaystyle \mathbf {Y} \in \mathbb {R} ^{n}}$

${\displaystyle \mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+\mathbf {U} _{1}{\boldsymbol {\xi }}_{1}+\cdots +\mathbf {U} _{k}{\boldsymbol {\xi }}_{k}}$

Aquí, es una matriz de diseño para los efectos fijos, representa los parámetros de efectos fijos desconocidos, es una matriz de diseño para el componente de efectos aleatorios -ésimo y es un vector aleatorio para el componente de efectos aleatorios -ésimo. Se supone que los efectos aleatorios tienen media cero ( ) y no están correlacionados ( ). Además, dos vectores de efectos aleatorios cualesquiera también están no correlacionados ( ). Las varianzas desconocidas representan los componentes de varianza del modelo. ${\displaystyle \mathbf {X} \in \mathbb {R} ^{n\times m}}$ ${\displaystyle {\boldsymbol {\beta }}\in \mathbb {R} ^{m}}$ ${\displaystyle \mathbf {U} _{i}\in \mathbb {R} ^{n\times c_{i}}}$ ${\displaystyle i}$ ${\displaystyle {\boldsymbol {\xi }}_{i}\in \mathbb {R} ^{c_{i}}}$ ${\displaystyle i}$ ${\displaystyle \mathbb {E} [{\boldsymbol {\xi }}_{i}]=\mathbf {0} }$ ${\displaystyle \mathbb {V} [{\boldsymbol {\xi }}_{i}]=\sigma _{i}^{2}\mathbf {I} _{c_{i}}}$ ${\displaystyle \mathbb {V} [{\boldsymbol {\xi }}_{i},{\boldsymbol {\xi }}_{j}]=\mathbf {0} \,\forall i\neq j}$ ${\displaystyle \sigma _{1}^{2},\cdots ,\sigma _{k}^{2}}$

Este es un modelo general que captura los modelos de regresión lineal comúnmente utilizados.

1. Modelo de Gauss-Markov ^[3] : Si consideramos un modelo de un componente donde , entonces el modelo es equivalente al modelo de Gauss-Markov con y . ${\displaystyle \mathbf {U} _{1}=\mathbf {I} _{n}}$ ${\displaystyle \mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\epsilon }}}$ ${\displaystyle \mathbb {E} [{\boldsymbol {\epsilon }}]=\mathbf {0} }$ ${\displaystyle \mathbb {V} [{\boldsymbol {\epsilon }}]=\sigma _{1}^{2}\mathbf {I} _{n}}$
2. Modelo heteroscedástico ^[1] : Cada conjunto de variables aleatorias que comparte una varianza común puede modelarse como un componente de varianza individual con un . ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {U} _{i}}$

Una representación compacta del modelo es la siguiente, donde y . ${\displaystyle \mathbf {U} =\left[{\begin{array}{c|c|c}\mathbf {U} _{1}&\cdots &\mathbf {U} _{k}\end{array}}\right]}$ ${\displaystyle {\boldsymbol {\xi }}^{\top }=\left[{\begin{array}{c|c|c}{\boldsymbol {\xi }}_{1}^{\top }&\cdots &{\boldsymbol {\xi }}_{k}^{\top }\end{array}}\right]}$

${\displaystyle \mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+\mathbf {U} {\boldsymbol {\xi }}}$

Obsérvese que este modelo no hace suposiciones distributivas acerca de otros momentos que no sean el primero y el segundo. ^[3] ${\displaystyle \mathbf {Y} }$

${\displaystyle \mathbb {E} [\mathbf {Y} ]=\mathbf {X} {\boldsymbol {\beta }}}$

${\displaystyle \mathbb {V} [\mathbf {Y} ]=\sigma _{1}^{2}\mathbf {U} _{1}\mathbf {U} _{1}^{\top }+\cdots +\sigma _{k}^{2}\mathbf {U} _{k}\mathbf {U} _{k}^{\top }\equiv \sigma _{1}^{2}\mathbf {V} _{1}+\cdots +\sigma _{k}^{2}\mathbf {V} _{k}}$

El objetivo de MINQUE es estimar utilizando una forma cuadrática . Los estimadores de MINQUE se derivan identificando una matriz tal que el estimador tenga algunas propiedades deseables, ^{[2] [3]} descritas a continuación. ${\displaystyle \theta =\sum _{i=1}^{k}p_{i}\sigma _{i}^{2}}$ ${\displaystyle {\hat {\theta }}=\mathbf {Y} ^{\top }\mathbf {A} \mathbf {Y} }$ ${\displaystyle \mathbf {A} }$

Propiedades del estimador óptimo para restringir MINQUE

Invariancia a la traducción de los efectos fijos

Consideremos un nuevo parámetro de efecto fijo , que representa una traducción del efecto fijo original. El nuevo modelo equivalente es ahora el siguiente. ${\displaystyle {\boldsymbol {\gamma }}={\boldsymbol {\beta }}-{\boldsymbol {\beta }}_{0}}$

${\displaystyle \mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}_{0}=\mathbf {X} {\boldsymbol {\gamma }}+\mathbf {U} {\boldsymbol {\xi }}}$

Bajo este modelo equivalente, el estimador MINQUE es ahora . Rao argumentó que, dado que los modelos subyacentes son equivalentes, este estimador debería ser igual a . ^{[2] [3]} Esto se puede lograr restringiendo de tal manera que , lo que garantiza que todos los términos que no estén en la expansión de la forma cuadrática sean cero. ${\displaystyle (\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}_{0})^{\top }\mathbf {A} (\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}_{0})}$ ${\displaystyle \mathbf {Y} ^{\top }\mathbf {A} \mathbf {Y} }$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathbf {A} \mathbf {X} =\mathbf {0} }$ ${\displaystyle \mathbf {Y} ^{\top }\mathbf {A} \mathbf {Y} }$

Estimación imparcial

Supongamos que restringimos , como se argumentó en la sección anterior. Entonces, el estimador MINQUE tiene la siguiente forma ${\displaystyle \mathbf {A} \mathbf {X} =\mathbf {0} }$

${\displaystyle {\begin{aligned}{\hat {\theta }}&=\mathbf {Y} ^{\top }\mathbf {A} \mathbf {Y} \\&=(\mathbf {X} {\boldsymbol {\beta }}+\mathbf {U} {\boldsymbol {\xi }})^{\top }\mathbf {A} (\mathbf {X} {\boldsymbol {\beta }}+\mathbf {U} {\boldsymbol {\xi }})\\&={\boldsymbol {\xi }}^{\top }\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} {\boldsymbol {\xi }}\end{aligned}}}$

Para garantizar que este estimador sea imparcial , la expectativa del estimador debe ser igual al parámetro de interés, . A continuación, la expectativa del estimador se puede descomponer para cada componente, ya que los componentes no están correlacionados entre sí. Además, se utiliza la propiedad cíclica de la traza para evaluar la expectativa con respecto a . ${\displaystyle \mathbb {E} [{\hat {\theta }}]}$ ${\displaystyle \theta }$ ${\displaystyle {\boldsymbol {\xi }}_{i}}$

${\displaystyle {\begin{aligned}\mathbb {E} [{\hat {\theta }}]&=\mathbb {E} [{\boldsymbol {\xi }}^{\top }\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} {\boldsymbol {\xi }}]\\&=\sum _{i=1}^{k}\mathbb {E} [{\boldsymbol {\xi }}_{i}^{\top }\mathbf {U} _{i}^{\top }\mathbf {A} \mathbf {U} _{i}{\boldsymbol {\xi }}_{i}]\\&=\sum _{i=1}^{k}\sigma _{i}^{2}\mathrm {Tr} [\mathbf {U} _{i}^{\top }\mathbf {A} \mathbf {U} _{i}]\end{aligned}}}$

Para garantizar que este estimador sea imparcial, Rao sugirió establecer , lo que se puede lograr restringiendo de tal manera que para todos los componentes. ^[3] ${\displaystyle \sum _{i=1}^{k}\sigma _{i}^{2}\mathrm {Tr} [\mathbf {U} _{i}^{\top }\mathbf {A} \mathbf {U} _{i}]=\sum _{i=1}^{k}p_{i}\sigma _{i}^{2}}$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathrm {Tr} [\mathbf {U} _{i}^{\top }\mathbf {A} \mathbf {U} _{i}]=\mathrm {Tr} [\mathbf {A} \mathbf {V} _{i}]=p_{i}}$

Norma mínima

Rao sostiene que si se observara, un estimador "natural" para sería el siguiente ^{[2] [3]} ya que . Aquí, se define como una matriz diagonal . ${\displaystyle {\boldsymbol {\xi }}}$ ${\displaystyle \theta }$ ${\displaystyle \mathbb {E} [{\boldsymbol {\xi }}_{i}^{\top }{\boldsymbol {\xi }}_{i}]=c_{i}\sigma _{i}^{2}}$ ${\displaystyle {\boldsymbol {\Delta }}}$

${\displaystyle {\frac {p_{1}}{c_{1}}}{\boldsymbol {\xi }}_{1}^{\top }{\boldsymbol {\xi }}_{1}+\cdots +{\frac {p_{k}}{c_{k}}}{\boldsymbol {\xi }}_{k}^{\top }{\boldsymbol {\xi }}_{k}={\boldsymbol {\xi }}^{\top }\left[\mathrm {diag} \left({\frac {p_{1}}{c_{i}}},\cdots ,{\frac {p_{k}}{c_{k}}}\right)\right]{\boldsymbol {\xi }}\equiv {\boldsymbol {\xi }}^{\top }{\boldsymbol {\Delta }}{\boldsymbol {\xi }}}$

La diferencia entre el estimador propuesto y el estimador natural es . Esta diferencia se puede minimizar minimizando la norma de la matriz . ${\displaystyle {\boldsymbol {\xi }}^{\top }(\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }}){\boldsymbol {\xi }}}$ ${\displaystyle \lVert \mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }}\rVert }$

Procedimiento

Dadas las restricciones y la estrategia de optimización derivadas de las propiedades óptimas anteriores, el estimador MINQUE para se deriva eligiendo una matriz que minimiza , sujeta a las restricciones ${\displaystyle {\hat {\theta }}}$ ${\displaystyle \theta =\sum _{i=1}^{k}p_{i}\sigma _{i}^{2}}$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \lVert \mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }}\rVert }$

1. ${\displaystyle \mathbf {A} \mathbf {X} =\mathbf {0} }$, y
2. ${\displaystyle \mathrm {Tr} [\mathbf {A} \mathbf {V} _{i}]=p_{i}}$.

Ejemplos de estimadores

Estimador estándar para el error homocedástico

En el modelo de Gauss-Markov , la varianza del error se estima utilizando lo siguiente. ${\displaystyle \sigma ^{2}}$

${\displaystyle s^{2}={\frac {1}{n-m}}(\mathbf {Y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\top }(\mathbf {Y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})}$

Este estimador es imparcial y se puede demostrar que minimiza la norma euclidiana de la forma . ^[1] Por lo tanto, el estimador estándar para la varianza del error en el modelo de Gauss-Markov es un estimador MINQUE. ${\displaystyle \lVert \mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }}\rVert }$

Variables aleatorias con media común y error heterocedástico

Para variables aleatorias con una media común y varianzas diferentes , el estimador MINQUE para es , donde y . ^[1] ${\displaystyle Y_{1},\cdots ,Y_{n}}$ ${\displaystyle \sigma _{1}^{2},\cdots ,\sigma _{n}^{2}}$ ${\displaystyle \sigma _{i}^{2}}$ ${\displaystyle {\frac {n}{n-2}}(Y_{i}-{\overline {Y}})^{2}-{\frac {s^{2}}{n-2}}}$ ${\displaystyle {\overline {Y}}={\frac {1}{n}}\sum _{i=1}^{n}Y_{i}}$ ${\displaystyle s^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(Y_{i}-{\overline {Y}})^{2}}$

Estimador de componentes de varianza

Rao propuso un estimador MINQUE para el modelo de componentes de varianza basado en la minimización de la norma euclidiana . ^[2] La norma euclidiana es la raíz cuadrada de la suma de los cuadrados de todos los elementos de la matriz. Al evaluar esta norma a continuación, . Además, utilizando la propiedad cíclica de las trazas , . ${\displaystyle \lVert \cdot \rVert _{2}}$ ${\displaystyle \mathbf {V} =\mathbf {V} _{1}+\cdots +\mathbf {V} _{k}=\mathbf {U} \mathbf {U} ^{\top }}$ ${\displaystyle \mathrm {Tr} [\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} {\boldsymbol {\Delta }}]=\mathrm {Tr} [\mathbf {A} \mathbf {U} {\boldsymbol {\Delta }}\mathbf {U} ^{\top }]=\mathrm {Tr} \left[\sum _{i=1}^{k}{\frac {p_{i}}{c_{i}}}\mathbf {A} \mathbf {V} _{i}\right]=\mathrm {Tr} [{\boldsymbol {\Delta }}{\boldsymbol {\Delta }}]}$

${\displaystyle {\begin{aligned}\lVert \mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }}\rVert _{2}^{2}&=(\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }})^{\top }(\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} -{\boldsymbol {\Delta }})\\&=\mathrm {Tr} [\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} \mathbf {U} \mathbf {A} \mathbf {U} ^{\top }]-\mathrm {Tr} [2\mathbf {U} ^{\top }\mathbf {A} \mathbf {U} {\boldsymbol {\Delta }}]+\mathrm {Tr} [{\boldsymbol {\Delta }}{\boldsymbol {\Delta }}]\\&=\mathrm {Tr} [\mathbf {A} \mathbf {V} \mathbf {A} \mathbf {V} ]-\mathrm {Tr} [{\boldsymbol {\Delta }}{\boldsymbol {\Delta }}]\end{aligned}}}$

Nótese que como no depende de , la MINQUE con la norma euclidiana se obtiene identificando la matriz que minimiza , sujeta a las restricciones de MINQUE discutidas anteriormente. ${\displaystyle \mathrm {Tr} [{\boldsymbol {\Delta }}{\boldsymbol {\Delta }}]}$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathrm {Tr} [\mathbf {A} \mathbf {V} \mathbf {A} \mathbf {V} ]}$

Rao demostró que la matriz que satisface este problema de optimización es ${\displaystyle \mathbf {A} }$

${\displaystyle \mathbf {A} _{\star }=\sum _{i=1}^{k}\lambda _{i}\mathbf {R} \mathbf {V} _{i}\mathbf {R} }$,

donde , es la matriz de proyección en el espacio columna de , y representa la inversa generalizada de una matriz. ${\displaystyle \mathbf {R} =\mathbf {V} ^{-1}(\mathbf {I} -\mathbf {P} )}$ ${\displaystyle \mathbf {P} =\mathbf {X} (\mathbf {X} ^{\top }\mathbf {V} ^{-1}\mathbf {X} )^{-}\mathbf {X} ^{\top }\mathbf {V} ^{-1}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle (\cdot )^{-}}$

Por tanto, el estimador MINQUE es el siguiente, donde los vectores y se definen en función de la suma. ${\displaystyle {\boldsymbol {\lambda }}}$ ${\displaystyle \mathbf {Q} }$

${\displaystyle {\begin{aligned}{\hat {\theta }}&=\mathbf {Y} ^{\top }\mathbf {A} _{\star }\mathbf {Y} \\&=\sum _{i=1}^{k}\lambda _{i}\mathbf {Y} ^{\top }\mathbf {R} \mathbf {V} _{i}\mathbf {R} \mathbf {Y} \\&\equiv \sum _{i=1}^{k}\lambda _{i}Q_{i}\\&\equiv {\boldsymbol {\lambda }}^{\top }\mathbf {Q} \end{aligned}}}$

El vector se obtiene mediante la restricción . Es decir, el vector representa la solución del siguiente sistema de ecuaciones . ${\displaystyle {\boldsymbol {\lambda }}}$ ${\displaystyle \mathrm {Tr} [\mathbf {A} _{\star }\mathbf {V} _{i}]=p_{i}}$ ${\displaystyle \forall j\in \{1,\cdots ,k\}}$

${\displaystyle {\begin{aligned}\mathrm {Tr} [\mathbf {A} _{\star }\mathbf {V} _{j}]&=p_{j}\\\mathrm {Tr} \left[\sum _{i=1}^{k}\lambda _{i}\mathbf {R} \mathbf {V} _{i}\mathbf {R} \mathbf {V} _{j}\right]&=p_{j}\\\sum _{i=1}^{k}\lambda _{i}\mathrm {Tr} [\mathbf {R} \mathbf {V} _{i}\mathbf {R} \mathbf {V} _{j}]&=p_{j}\end{aligned}}}$

Esto se puede escribir como un producto matricial , donde y es lo siguiente. ${\displaystyle \mathbf {S} {\boldsymbol {\lambda }}=\mathbf {p} }$ ${\displaystyle \mathbf {p} =[p_{1}\,\cdots \,p_{k}]^{\top }}$ ${\displaystyle \mathbf {S} }$

${\displaystyle \mathbf {S} ={\begin{bmatrix}\mathrm {Tr} [\mathbf {R} \mathbf {V} _{1}\mathbf {R} \mathbf {V} _{1}]&\cdots &\mathrm {Tr} [\mathbf {R} \mathbf {V} _{k}\mathbf {R} \mathbf {V} _{1}]\\\vdots &\ddots &\vdots \\\mathrm {Tr} [\mathbf {R} \mathbf {V} _{1}\mathbf {R} \mathbf {V} _{k}]&\cdots &\mathrm {Tr} [\mathbf {R} \mathbf {V} _{k}\mathbf {R} \mathbf {V} _{k}]\end{bmatrix}}}$

Entonces, . Esto implica que el MINQUE es . Nótese que , donde . Por lo tanto, el estimador para los componentes de varianza es . ${\displaystyle {\boldsymbol {\lambda }}=\mathbf {S} ^{-}\mathbf {p} }$ ${\displaystyle {\hat {\theta }}={\boldsymbol {\lambda }}^{\top }\mathbf {Q} =\mathbf {p} ^{\top }(\mathbf {S} ^{-})^{\top }\mathbf {Q} =\mathbf {p} ^{\top }\mathbf {S} ^{-}\mathbf {Q} }$ ${\displaystyle \theta =\sum _{i=1}^{k}p_{i}\sigma _{i}^{2}=\mathbf {p} ^{\top }{\boldsymbol {\sigma }}}$ ${\displaystyle {\boldsymbol {\sigma }}=[\sigma _{1}^{2}\,\cdots \,\sigma _{k}^{2}]^{\top }}$ ${\displaystyle {\hat {\boldsymbol {\sigma }}}=\mathbf {S} ^{-}\mathbf {Q} }$

Extensiones

Los estimadores MINQUE pueden obtenerse sin los criterios de invariancia, en cuyo caso el estimador solo es insesgado y minimiza la norma. ^[2] Dichos estimadores tienen restricciones ligeramente diferentes en el problema de minimización.

El modelo se puede ampliar para estimar componentes de covarianza. ^[3] En un modelo de este tipo, se supone que los efectos aleatorios de un componente tienen una estructura de covarianza común . También se propuso un estimador MINQUE para una mezcla de componentes de varianza y covarianza. ^[3] En este modelo, para y para . ${\displaystyle \mathbb {V} [{\boldsymbol {\xi }}_{i}]={\boldsymbol {\Sigma }}}$ ${\displaystyle \mathbb {V} [{\boldsymbol {\xi }}_{i}]={\boldsymbol {\Sigma }}}$ ${\displaystyle i\in \{1,\cdots ,s\}}$ ${\displaystyle \mathbb {V} [{\boldsymbol {\xi }}_{i}]=\sigma _{i}^{2}\mathbf {I} _{c_{i}}}$ ${\displaystyle i\in \{s+1,\cdots ,k\}}$

Referencias

1. Rao, CR (1970). "Estimación de varianzas heterocedásticas en modelos lineales". Revista de la Asociación Estadounidense de Estadística . 65 (329): 161–172. doi :10.1080/01621459.1970.10481070. JSTOR  2283583.
2. Rao, CR (1971). "Estimación de componentes de varianza y covarianza según la teoría MINQUE". J Multivar Anal . 1 : 257–275. doi :10.1016/0047-259x(71)90001-7. hdl : 10338.dmlcz/104230 .
3. Rao, CR (1972). "Estimación de componentes de varianza y covarianza en modelos lineales". Revista de la Asociación Estadounidense de Estadística . 67 (337): 112–115. doi :10.1080/01621459.1972.10481212. JSTOR  2284708.