El algoritmo de puntuación , también conocido como puntuación de Fisher , [1] es una forma del método de Newton utilizado en estadística para resolver numéricamente ecuaciones de máxima verosimilitud , que lleva el nombre de Ronald Fisher .
Bosquejo de derivación
Sean variables aleatorias , independientes e idénticamente distribuidas con pdf dos veces diferenciable , y deseamos calcular el estimador de máxima verosimilitud (MLE) de . Primero, supongamos que tenemos un punto de partida para nuestro algoritmo y consideramos una expansión de Taylor de la función de puntuación , aproximadamente :
![{\displaystyle f(y;\theta )}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \theta ^{*}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \theta}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \theta _ {0}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle V(\theta)}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \theta _ {0}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle V(\theta )\approx V(\theta _{0})-{\mathcal {J}}(\theta _{0})(\theta -\theta _{0}),\,}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
dónde
![{\displaystyle {\mathcal {J}}(\theta _{0})=-\sum _{i=1}^{n}\left.\nabla \nabla ^{\top }\right|_{\ theta =\theta _{0}}\log f(Y_{i};\theta )}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
es la matriz de información observada en . Ahora, configurar , usar eso y reorganizar nos da:![{\displaystyle \theta _ {0}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \theta =\theta ^{*}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle V(\theta ^{*})=0}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \theta ^{*}\approx \theta _{0}+{\mathcal {J}}^{-1}(\theta _{0})V(\theta _{0}).\, }](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Por lo tanto utilizamos el algoritmo
![{\displaystyle \theta _ {m+1}=\theta _ {m}+{\mathcal {J}}^{-1}(\theta _ {m})V(\theta _ {m}),\ ,}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
y bajo ciertas condiciones de regularidad, se puede demostrar que .![{\displaystyle \theta _ {m}\rightarrow \theta ^{*}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Puntuación de Fisher
En la práctica, suele sustituirse por la información de Fisher , dándonos así el algoritmo de puntuación de Fisher :![{\displaystyle {\mathcal {J}}(\theta)}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle {\mathcal {I}}(\theta )=\mathrm {E} [{\mathcal {J}}(\theta )]}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
..
Bajo algunas condiciones de regularidad, si es un estimador consistente , entonces (la corrección después de un solo paso) es "óptima" en el sentido de que su distribución de error es asintóticamente idéntica a la de la verdadera estimación de máxima verosimilitud. [2]![{\displaystyle \theta _ {m}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \theta _ {m+1}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Ver también
Referencias
- ^ Longford, Nicolás T. (1987). "Un algoritmo de puntuación rápido para la estimación de máxima verosimilitud en modelos mixtos desequilibrados con efectos aleatorios anidados". Biometrika . 74 (4): 817–827. doi :10.1093/biomet/74.4.817.
- ^ Li, Bing; Babu, G. Jogesh (2019), "Inferencia bayesiana", Springer Texts in Statistics , Nueva York, NY: Springer New York, Teorema 9.4, doi :10.1007/978-1-4939-9761-9_6, ISBN 978-1-4939-9759-6, S2CID 239322258 , consultado el 3 de enero de 2023
Otras lecturas
- Jennrich, RI y Sampson, PF (1976). "Newton-Raphson y algoritmos relacionados para la estimación del componente de varianza de máxima verosimilitud". Tecnometría . 18 (1): 11-17. doi :10.1080/00401706.1976.10489395 (inactivo el 31 de enero de 2024). JSTOR 1267911.
{{cite journal}}
: Mantenimiento CS1: DOI inactivo a partir de enero de 2024 ( enlace )