Lema de Neyman-Pearson

Teorema sobre la potencia de la prueba de razón de verosimilitud

En estadística , el lema de Neyman-Pearson describe la existencia y unicidad de la razón de verosimilitud como una prueba uniformemente más poderosa en ciertos contextos. Fue introducido por Jerzy Neyman y Egon Pearson en un artículo en 1933. ^[1] El lema de Neyman-Pearson es parte de la teoría de Neyman-Pearson de pruebas estadísticas, que introdujo conceptos como errores de segundo tipo , función de potencia y comportamiento inductivo. ^{[2] [3] [4]} La teoría fisheriana anterior de pruebas de significación postulaba solo una hipótesis. Al introducir una hipótesis en competencia, la versión Neyman-Pearsoniana de las pruebas estadísticas permite investigar los dos tipos de errores . Los casos triviales en los que uno siempre rechaza o acepta la hipótesis nula son de poco interés, pero sí prueban que uno no debe renunciar al control sobre un tipo de error mientras calibra el otro. En consecuencia, Neyman y Pearson procedieron a restringir su atención a la clase de pruebas de todos los niveles, mientras que posteriormente minimizaron el error de tipo II, tradicionalmente denotado por . Su artículo seminal de 1933, incluido el lema de Neyman-Pearson, llega al final de este esfuerzo, no solo mostrando la existencia de pruebas con la mayor potencia que retienen un nivel preespecificado de error de tipo I ( ), sino también proporcionando una manera de construir tales pruebas. El teorema de Karlin-Rubin extiende el lema de Neyman-Pearson a entornos que involucran hipótesis compuestas con razones de verosimilitud monótonas. ${\displaystyle \alpha }$ ${\displaystyle \beta }$ ${\displaystyle \alpha }$

Declaración

Consideremos una prueba con hipótesis y , donde la función de densidad de probabilidad (o función de masa de probabilidad ) es para . ${\displaystyle H_{0}:\theta =\theta _{0}}$ ${\displaystyle H_{1}:\theta =\theta _{1}}$ ${\displaystyle \rho (x\mid \theta _{i})}$ ${\displaystyle i=0,1}$

Para cualquier prueba de hipótesis con conjunto de rechazo y cualquier , decimos que satisface la condición si ${\displaystyle R}$ ${\displaystyle \alpha \in [0,1]}$ ${\displaystyle P_{\alpha }}$

• ${\displaystyle \alpha ={\Pr }_{\theta _{0}}(X\in R)}$
  • Es decir, la prueba tiene tamaño (es decir, la probabilidad de rechazar falsamente la hipótesis nula es ). ${\displaystyle \alpha }$ ${\displaystyle \alpha }$
• ${\displaystyle \exists \eta \geq 0}$de tal manera que

${\displaystyle {\begin{aligned}x\in {}&R\smallsetminus A\implies \rho (x\mid \theta _{1})>\eta \rho (x\mid \theta _{0})\\x\in {}&R^{c}\smallsetminus A\implies \rho (x\mid \theta _{1})<\eta \rho (x\mid \theta _{0})\end{aligned}}}$

donde es un conjunto despreciable en ambos casos y : . ${\displaystyle A}$ ${\displaystyle \theta _{0}}$ ${\displaystyle \theta _{1}}$ ${\displaystyle {\Pr }_{\theta _{0}}(X\in A)={\Pr }_{\theta _{1}}(X\in A)=0}$

• Es decir, tenemos una prueba de razón de verosimilitud estricta, excepto en un subconjunto insignificante.

Para cualquier , sea el conjunto de pruebas de nivel el conjunto de todas las pruebas de hipótesis con un tamaño como máximo . Es decir, siendo su conjunto de rechazo , tenemos . ${\displaystyle \alpha \in [0,1]}$ ${\displaystyle \alpha }$ ${\displaystyle \alpha }$ ${\displaystyle R}$ ${\displaystyle {\Pr }_{\theta _{0}}(X\in R)\leq \alpha }$

Lema de Neyman-Pearson ^[5]  —  Existencia:

Si una prueba de hipótesis satisface una condición, entonces es una prueba uniformemente más poderosa (UMP) en el conjunto de pruebas de nivel. ${\displaystyle P_{\alpha }}$ ${\displaystyle \alpha }$

Unicidad: Si existe una prueba de hipótesis que satisface la condición, con , entonces cada prueba UMP en el conjunto de pruebas de nivel satisface la condición con el mismo . ${\displaystyle R_{NP}}$ ${\displaystyle P_{\alpha }}$ ${\displaystyle \eta >0}$ ${\displaystyle R}$ ${\displaystyle \alpha }$ ${\displaystyle P_{\alpha }}$ ${\displaystyle \eta }$

Además, la prueba y la prueba concuerdan con la probabilidad de si o . ${\displaystyle R_{NP}}$ ${\displaystyle R}$ ${\displaystyle 1}$ ${\displaystyle \theta =\theta _{0}}$ ${\displaystyle \theta =\theta _{1}}$

En la práctica, la razón de verosimilitud se suele utilizar directamente para construir pruebas (véase prueba de razón de verosimilitud ). Sin embargo, también se puede utilizar para sugerir estadísticas de prueba particulares que podrían ser de interés o para sugerir pruebas simplificadas (para esto, se considera la manipulación algebraica de la razón para ver si hay estadísticas clave relacionadas con el tamaño de la razón (es decir, si una estadística grande corresponde a una razón pequeña o a una grande).

Prueba

Dada cualquier prueba de hipótesis con conjunto de rechazo , defina su función de potencia estadística . ${\displaystyle R}$ ${\displaystyle \beta _{R}(\theta )={\Pr }_{\theta }(X\in R)}$

Existencia:

Dada una prueba de hipótesis que satisface la condición, llámese su región de rechazo (donde NP significa Neyman-Pearson). ${\displaystyle P_{\alpha }}$ ${\displaystyle R_{NP}}$

Para cualquier prueba de hipótesis de nivel con región de rechazo tenemos excepto en algún conjunto ignorable . ${\displaystyle \alpha }$ ${\displaystyle R}$ ${\displaystyle [1_{R_{NP}}(x)-1_{R}(x)][\rho (x\mid \theta _{1})-\eta \rho (x\mid \theta _{0})]\geq 0}$ ${\displaystyle A}$

Luego lo integramos para obtener ${\displaystyle x}$ ${\displaystyle 0\leq [\beta _{R_{NP}}(\theta _{1})-\beta _{R}(\theta _{1})]-\eta [\beta _{R_{NP}}(\theta _{0})-\beta _{R}(\theta _{0})].}$

Como y , encontramos que . ${\displaystyle \beta _{R_{NP}}(\theta _{0})=\alpha }$ ${\displaystyle \beta _{R}(\theta _{0})\leq \alpha }$ ${\displaystyle \beta _{R_{NP}}(\theta _{1})\geq \beta _{R}(\theta _{1})}$

Por tanto, la prueba de rechazo es una prueba UMP en el conjunto de pruebas de nivel. ${\displaystyle R_{NP}}$ ${\displaystyle \alpha }$

Unicidad:

Para cualquier otra prueba de nivel UMP, con región de rechazo , tenemos de la parte de Existencia, . ${\displaystyle \alpha }$ ${\displaystyle R}$ ${\displaystyle [\beta _{R_{NP}}(\theta _{1})-\beta _{R}(\theta _{1})]\geq \eta [\beta _{R_{NP}}(\theta _{0})-\beta _{R}(\theta _{0})]}$

Como la prueba es UMP, el lado izquierdo debe ser cero. Como el lado derecho da , la prueba tiene un tamaño . ${\displaystyle R}$ ${\displaystyle \eta >0}$ ${\displaystyle \beta _{R}(\theta _{0})=\beta _{R_{NP}}(\theta _{0})=\alpha }$ ${\displaystyle R}$ ${\displaystyle \alpha }$

Dado que el integrando no es negativo y se integra a cero, debe ser exactamente cero excepto en algún conjunto ignorable . ${\displaystyle [1_{R_{NP}}(x)-1_{R}(x)][\rho (x\mid \theta _{1})-\eta \rho (x\mid \theta _{0})]}$ ${\displaystyle A}$

Dado que la prueba satisface la condición, sea el conjunto ignorable en la definición de la condición . ${\displaystyle R_{NP}}$ ${\displaystyle P_{\alpha }}$ ${\displaystyle P_{\alpha }}$ ${\displaystyle A_{NP}}$

${\displaystyle R\smallsetminus (R_{NP}\cup A_{NP})}$es ignorable, ya que para todo , tenemos . ${\displaystyle x\in R\smallsetminus (R_{NP}\cup A_{NP})}$ ${\displaystyle [1_{R_{NP}}(x)-1_{R}(x)][\rho (x\mid \theta _{1})-\eta \rho (x\mid \theta _{0})]=\eta \rho (x\mid \theta _{0})-\rho (x\mid \theta _{1})>0}$

De igual manera, es ignorable. ${\displaystyle R_{NP}\smallsetminus (R\cup A_{NP})}$

Definir (donde significa diferencia simétrica ). Es la unión de tres conjuntos ignorables, por lo tanto es un conjunto ignorable. ${\displaystyle A_{R}:=(R\mathbin {\Delta } R_{NP})\cup A_{NP}}$ ${\displaystyle \Delta }$

Entonces tenemos y . Por lo tanto, la prueba de rechazo satisface la condición con el mismo . ${\displaystyle x\in R\smallsetminus A_{R}\implies \rho (x\mid \theta _{1})>\eta \rho (x\mid \theta _{0})}$ ${\displaystyle x\in R^{c}\smallsetminus A_{R}\implies \rho (x\mid \theta _{1})<\eta \rho (x\mid \theta _{0})}$ ${\displaystyle R}$ ${\displaystyle P_{\alpha }}$ ${\displaystyle \eta }$

Dado que es ignorable, su subconjunto también lo es. En consecuencia, las dos pruebas coinciden con la probabilidad de que sea o . ${\displaystyle A_{R}}$ ${\displaystyle R\mathbin {\Delta } R_{NP}\subset A_{R}}$ ${\displaystyle 1}$ ${\displaystyle \theta =\theta _{0}}$ ${\displaystyle \theta =\theta _{1}}$

Ejemplo

Sea una muestra aleatoria de la distribución donde se conoce la media y supongamos que deseamos probar para contra . La probabilidad para este conjunto de datos distribuidos normalmente es ${\displaystyle X_{1},\dots ,X_{n}}$ ${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$ ${\displaystyle \mu }$ ${\displaystyle H_{0}:\sigma ^{2}=\sigma _{0}^{2}}$ ${\displaystyle H_{1}:\sigma ^{2}=\sigma _{1}^{2}}$

${\displaystyle {\mathcal {L}}\left(\sigma ^{2}\mid \mathbf {x} \right)\propto \left(\sigma ^{2}\right)^{-n/2}\exp \left\{-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right\}.}$

Podemos calcular la razón de verosimilitud para encontrar la estadística clave en esta prueba y su efecto en el resultado de la prueba:

${\displaystyle \Lambda (\mathbf {x} )={\frac {{\mathcal {L}}\left({\sigma _{0}}^{2}\mid \mathbf {x} \right)}{{\mathcal {L}}\left({\sigma _{1}}^{2}\mid \mathbf {x} \right)}}=\left({\frac {\sigma _{0}^{2}}{\sigma _{1}^{2}}}\right)^{-n/2}\exp \left\{-{\frac {1}{2}}(\sigma _{0}^{-2}-\sigma _{1}^{-2})\sum _{i=1}^{n}(x_{i}-\mu )^{2}\right\}.}$

Esta relación solo depende de los datos hasta . Por lo tanto, por el lema de Neyman-Pearson, la prueba más poderosa de este tipo de hipótesis para estos datos dependerá solo de . Además, por inspección, podemos ver que si , entonces es una función decreciente de . Por lo tanto, deberíamos rechazar si es suficientemente grande. El umbral de rechazo depende del tamaño de la prueba. En este ejemplo, se puede demostrar que la estadística de prueba es una variable aleatoria distribuida con chi-cuadrado escalado y se puede obtener un valor crítico exacto. ${\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )^{2}}$ ${\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )^{2}}$ ${\displaystyle \sigma _{1}^{2}>\sigma _{0}^{2}}$ ${\displaystyle \Lambda (\mathbf {x} )}$ ${\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )^{2}}$ ${\displaystyle H_{0}}$ ${\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )^{2}}$

Aplicación en economía

Una variante del lema de Neyman-Pearson ha encontrado aplicación en el ámbito aparentemente no relacionado de la economía del valor de la tierra. Uno de los problemas fundamentales de la teoría del consumidor es calcular la función de demanda del consumidor dados los precios. En particular, dado un patrimonio de tierra heterogéneo, una medida del precio sobre la tierra y una medida de utilidad subjetiva sobre la tierra, el problema del consumidor es calcular la mejor parcela de tierra que puede comprar, es decir, la parcela de tierra con la mayor utilidad, cuyo precio sea como máximo el que se ajuste a su presupuesto. Resulta que este problema es muy similar al problema de encontrar la prueba estadística más potente, por lo que se puede utilizar el lema de Neyman-Pearson. ^[6]

Usos en ingeniería eléctrica

El lema de Neyman-Pearson es muy útil en ingeniería electrónica , concretamente en el diseño y uso de sistemas de radar , sistemas de comunicación digital y en sistemas de procesamiento de señales . En los sistemas de radar, el lema de Neyman-Pearson se utiliza para establecer primero la tasa de detecciones fallidas en un nivel deseado (bajo) y luego minimizar la tasa de falsas alarmas , o viceversa. Ni las falsas alarmas ni las detecciones fallidas se pueden establecer en tasas arbitrariamente bajas, incluido cero. Todo lo anterior se aplica también a muchos sistemas de procesamiento de señales.

Usos en física de partículas

El lema de Neyman-Pearson se aplica a la construcción de razones de verosimilitud específicas del análisis, utilizadas, por ejemplo, para probar firmas de nueva física frente a la predicción nominal del Modelo Estándar en conjuntos de datos de colisión protón-protón recopilados en el LHC . ^[7]

Descubrimiento del lema

Neyman escribió sobre el descubrimiento del lema de la siguiente manera. ^[8] Se han insertado saltos de párrafo.

Puedo señalar el momento particular en que comprendí cómo formular el problema no dogmático de la prueba más poderosa de una hipótesis estadística simple frente a una alternativa simple fija. En la actualidad [probablemente 1968], el problema parece completamente trivial y al alcance de un estudiante principiante. Pero, con un cierto grado de vergüenza, debo confesar que tomó algo así como media década de esfuerzo combinado de ESP [Egon Pearson] y yo para poner las cosas en orden.

La solución de la cuestión en cuestión se me ocurrió una tarde en la que me encontraba solo en mi habitación del Laboratorio de Estadística de la Escuela de Agricultura de Varsovia, pensando intensamente en algo que debería haber sido obvio mucho antes. El edificio estaba cerrado y, alrededor de las 8 de la tarde, oí voces afuera que me llamaban. Era mi esposa, con algunos amigos, diciéndome que era hora de ir al cine.

Mi primera reacción fue de fastidio. Y luego, al levantarme de mi escritorio para responder a la llamada, comprendí de repente: para cualquier región crítica dada y para cualquier hipótesis alternativa dada, es posible calcular la probabilidad del error de segundo tipo; está representada por esta integral particular. Una vez hecho esto, la región crítica óptima sería la que minimiza esta misma integral, sujeta a la condición secundaria relativa a la probabilidad del error de primer tipo. Estamos ante un problema particular del cálculo de variaciones, probablemente un problema simple.

Estos pensamientos me vinieron de golpe, antes de llegar a la ventana para hacerle una señal a mi esposa. El incidente está nítido en mi memoria, pero no tengo recuerdos de la película que vimos. Puede que fuera Buster Keaton.

Véase también

• Exponentes de error en las pruebas de hipótesis
• Prueba F
• Lema
• Teorema de Wilks

Referencias

1. Neyman, J.; Pearson, ES (16 de febrero de 1933). "IX. Sobre el problema de las pruebas más eficientes de hipótesis estadísticas". Phil. Trans. R. Soc. Lond. A . 231 (694–706): 289–337. Bibcode :1933RSPTA.231..289N. doi : 10.1098/rsta.1933.0009 . ISSN  0264-3952.
2. Las teorías de Fisher, Neyman–Pearson para probar hipótesis: ¿una teoría o dos?: Journal of the American Statistical Association: vol. 88, n.º 424: Las teorías de Fisher, Neyman–Pearson para probar hipótesis: ¿una teoría o dos?: Journal of the American Statistical Association: vol. 88, n.º 424
3. Wald: Capítulo II: La teoría de Neyman-Pearson para probar una hipótesis estadística: Wald: Capítulo II: La teoría de Neyman-Pearson para probar una hipótesis estadística
4. El imperio del azar: El imperio del azar
5. Casella, George (2002). Inferencia estadística. Roger L. Berger (2.ª ed.). Australia: Thomson Learning. pp. 388, Teorema 8.3.12. ISBN 0-534-24312-6.OCLC 46538638  .
6. Berliant, M. (1984). "Una caracterización de la demanda de tierra". Journal of Economic Theory . 33 (2): 289–300. doi :10.1016/0022-0531(84)90091-7.
7. van Dyk, David A. (2014). "El papel de la estadística en el descubrimiento del bosón de Higgs". Revista anual de estadística y su aplicación . 1 (1): 41–59. Bibcode :2014AnRSA...1...41V. doi : 10.1146/annurev-statistics-062713-085841 .
8. Neyman, J. (1970). Una mirada a algunas de mis experiencias personales en el proceso de investigación. En Scientists at Work: Festschrift in honour of Herman Wold . Editado por T. Dalenius, G. Karlsson, S. Malmquist. Almqvist & Wiksell, Estocolmo. https://worldcat.org/en/title/195948

• EL Lehmann, Joseph P. Romano, Prueba de hipótesis estadísticas , Springer, 2008, pág. 60

Enlaces externos

• Cosma Shalizi ofrece una derivación intuitiva del lema de Neyman-Pearson utilizando ideas de la economía.
• cnx.org: Criterio de Neyman-Pearson