Transformación de potencia

Familia de funciones para transformar datos

En estadística , una transformación de potencia es una familia de funciones que se aplican para crear una transformación monótona de datos utilizando funciones de potencia . Es una técnica de transformación de datos que se utiliza para estabilizar la varianza , hacer que los datos se asemejen más a una distribución normal , mejorar la validez de las medidas de asociación (como la correlación de Pearson entre variables) y para otros procedimientos de estabilización de datos.

Las transformadas de potencia se utilizan en múltiples campos, incluidos el análisis multirresolución y wavelet , ^[1] el análisis de datos estadísticos, la investigación médica, el modelado de procesos físicos, ^[2] el análisis de datos geoquímicos , ^[3] la epidemiología ^[4] y muchas otras áreas de investigación clínica, ambiental y social.

Definición

La transformación de potencia se define como una función continua del parámetro de potencia λ , que normalmente se da en forma de fragmentos que la hace continua en el punto de singularidad ( λ  = 0). Para los vectores de datos ( y ₁ ,...,  y _n ) en los que cada y _i  > 0, la transformación de potencia es

${\displaystyle y_{i}^{(\lambda )}={\begin{cases}{\dfrac {y_{i}^{\lambda }-1}{\lambda (\operatorname {GM} (y))^{\lambda -1}}},&{\text{if }}\lambda \neq 0\\[12pt]\operatorname {GM} (y)\ln {y_{i}},&{\text{if }}\lambda =0\end{cases}}}$

dónde

${\displaystyle \operatorname {GM} (y)=\left(\prod _{i=1}^{n}y_{i}\right)^{\frac {1}{n}}={\sqrt[{n}]{y_{1}y_{2}\cdots y_{n}}}\,}$

es la media geométrica de las observaciones y ₁ , ...,  y _n . El caso para es el límite cuando se acerca a 0. Para ver esto, observe que - utilizando la serie de Taylor . Entonces , y todo excepto se vuelve insignificante para suficientemente pequeño. ${\displaystyle \lambda =0}$ ${\displaystyle \lambda }$ ${\displaystyle y_{i}^{\lambda }=\exp({\lambda \ln(y_{i})})=1+\lambda \ln(y_{i})+O((\lambda \ln(y_{i}))^{2})}$ ${\displaystyle {\dfrac {y_{i}^{\lambda }-1}{\lambda }}=\ln(y_{i})+O(\lambda )}$ ${\displaystyle \ln(y_{i})}$ ${\displaystyle \lambda }$

La inclusión de la potencia ( λ  − 1) de la media geométrica en el denominador simplifica la interpretación científica de cualquier ecuación que involucre , porque las unidades de medida no cambian a medida que cambia λ . ${\displaystyle y_{i}^{(\lambda )}}$

Box y Cox (1964) introdujeron la media geométrica en esta transformación incluyendo primero el jacobiano de la transformación de potencia reescalada.

${\displaystyle {\frac {y^{\lambda }-1}{\lambda }}.}$

con la probabilidad. Este jacobiano es el siguiente:

${\displaystyle J(\lambda ;y_{1},\ldots ,y_{n})=\prod _{i=1}^{n}|dy_{i}^{(\lambda )}/dy|=\prod _{i=1}^{n}y_{i}^{\lambda -1}=\operatorname {GM} (y)^{n(\lambda -1)}}$

Esto permite escribir la verosimilitud normal en su valor máximo de la siguiente manera:

${\displaystyle {\begin{aligned}\log({\mathcal {L}}({\hat {\mu }},{\hat {\sigma }}))&=(-n/2)(\log(2\pi {\hat {\sigma }}^{2})+1)+n(\lambda -1)\log(\operatorname {GM} (y))\\[5pt]&=(-n/2)(\log(2\pi {\hat {\sigma }}^{2}/\operatorname {GM} (y)^{2(\lambda -1)})+1).\end{aligned}}}$

A partir de aquí, la absorción en la expresión para produce una expresión que establece que minimizar la suma de los cuadrados de los residuos de es equivalente a maximizar la suma del logaritmo normal de la verosimilitud de las desviaciones de y el logaritmo del jacobiano de la transformación. ${\displaystyle \operatorname {GM} (y)^{2(\lambda -1)}}$ ${\displaystyle {\hat {\sigma }}^{2}}$ ${\displaystyle y_{i}^{(\lambda )}}$ ${\displaystyle (y^{\lambda }-1)/\lambda }$

El valor en Y = 1 para cualquier λ es 0, y la derivada con respecto a Y es 1 para cualquier λ . A veces, Y es una versión de alguna otra variable escalada para dar Y = 1 en algún tipo de valor promedio.

La transformación es una transformación de potencia , pero realizada de tal manera que sea continua con el parámetro λ en λ = 0. Ha demostrado ser popular en el análisis de regresión , incluida la econometría .

Box y Cox también propusieron una forma más general de la transformación que incorpora un parámetro de desplazamiento.

${\displaystyle \tau (y_{i};\lambda ,\alpha )={\begin{cases}{\dfrac {(y_{i}+\alpha )^{\lambda }-1}{\lambda (\operatorname {GM} (y+\alpha ))^{\lambda -1}}}&{\text{if }}\lambda \neq 0,\\\\\operatorname {GM} (y+\alpha )\ln(y_{i}+\alpha )&{\text{if }}\lambda =0,\end{cases}}}$

que se cumple si y _i  + α > 0 para todo  i . Si τ( Y , λ, α) sigue una distribución normal truncada , entonces se dice que Y sigue una distribución de Box–Cox .

Bickel y Doksum eliminaron la necesidad de utilizar una distribución truncada al extender el rango de la transformación a todos los y , de la siguiente manera:

${\displaystyle \tau (y_{i};\lambda ,\alpha )={\begin{cases}{\dfrac {\operatorname {sgn} (y_{i}+\alpha )|y_{i}+\alpha |^{\lambda }-1}{\lambda (\operatorname {GM} (y+\alpha ))^{\lambda -1}}}&{\text{if }}\lambda \neq 0,\\\\\operatorname {GM} (y+\alpha )\operatorname {sgn} (y+\alpha )\ln(y_{i}+\alpha )&{\text{if }}\lambda =0,\end{cases}}}$

donde sgn(.) es la función de signo . Este cambio en la definición tiene poca importancia práctica siempre que sea menor que , lo que suele ser habitual. ^[5] ${\displaystyle \alpha }$ ${\displaystyle \operatorname {min} (y_{i})}$

Bickel y Doksum también demostraron que las estimaciones de los parámetros son consistentes y asintóticamente normales en condiciones de regularidad apropiadas, aunque el límite inferior estándar de Cramér-Rao puede subestimar sustancialmente la varianza cuando los valores de los parámetros son pequeños en relación con la varianza del ruido. ^[5] Sin embargo, este problema de subestimar la varianza puede no ser un problema sustancial en muchas aplicaciones. ^{[6] [7]}

Transformación de Box-Cox

Las transformaciones Box-Cox de un parámetro se definen como

${\displaystyle y_{i}^{(\lambda )}={\begin{cases}{\dfrac {y_{i}^{\lambda }-1}{\lambda }}&{\text{if }}\lambda \neq 0,\\\ln y_{i}&{\text{if }}\lambda =0,\end{cases}}}$

y las transformaciones Box-Cox de dos parámetros como

${\displaystyle y_{i}^{({\boldsymbol {\lambda }})}={\begin{cases}{\dfrac {(y_{i}+\lambda _{2})^{\lambda _{1}}-1}{\lambda _{1}}}&{\text{if }}\lambda _{1}\neq 0,\\\ln(y_{i}+\lambda _{2})&{\text{if }}\lambda _{1}=0,\end{cases}}}$

como se describe en el artículo original. ^{[8] [9]} Además, las primeras transformaciones son válidas para , y las segundas para . ^[8] ${\displaystyle y_{i}>0}$ ${\displaystyle y_{i}>-\lambda _{2}}$

El parámetro se estima utilizando la función de verosimilitud del perfil y utilizando pruebas de bondad de ajuste. ^[10] ${\displaystyle \lambda }$

Intervalo de confianza

El intervalo de confianza para la transformación de Box-Cox se puede construir asintóticamente utilizando el teorema de Wilks sobre la función de verosimilitud del perfil para encontrar todos los valores posibles de que cumplen la siguiente restricción: ^[11] ${\displaystyle \lambda }$

${\displaystyle \ln {\big (}L(\lambda ){\big )}\geq \ln {\big (}L({\hat {\lambda }}){\big )}-{\frac {1}{2}}{\chi ^{2}}_{1,1-\alpha }.}$

Ejemplo

El conjunto de datos hepáticos de BUPA ^[12] contiene datos sobre las enzimas hepáticas ALT y γGT . Supongamos que nos interesa utilizar log(γGT) para predecir la ALT. En el panel (a) de la figura aparece un gráfico de los datos. Parece haber una varianza no constante y una transformación de Box-Cox podría ayudar.

La verosimilitud logarítmica del parámetro de potencia aparece en el panel (b). La línea de referencia horizontal está a una distancia de χ ₁ ² /2 del máximo y se puede utilizar para obtener un intervalo de confianza aproximado del 95 % para λ. Parece que un valor cercano a cero sería bueno, por lo que tomamos logaritmos.

Es posible que la transformación se pueda mejorar añadiendo un parámetro de desplazamiento a la transformación logarítmica. El panel (c) de la figura muestra la verosimilitud logarítmica. En este caso, el máximo de la verosimilitud es cercano a cero, lo que sugiere que no se necesita un parámetro de desplazamiento. El panel final muestra los datos transformados con una línea de regresión superpuesta.

Cabe señalar que, si bien las transformaciones de Box-Cox pueden mejorar considerablemente el ajuste del modelo, existen algunos problemas que no pueden solucionarse con la transformación. En el ejemplo actual, los datos tienen colas bastante pesadas, por lo que el supuesto de normalidad no es realista y un enfoque de regresión robusto conduce a un modelo más preciso.

Aplicación econométrica

Los economistas a menudo caracterizan las relaciones de producción mediante alguna variante de la transformación de Box-Cox. ^[13]

Consideremos una representación común de la producción Q como dependiente de los servicios proporcionados por un stock de capital K y por horas de trabajo N :

${\displaystyle \tau (Q)=\alpha \tau (K)+(1-\alpha )\tau (N).\,}$

Resolviendo Q invirtiendo la transformación de Box-Cox encontramos

${\displaystyle Q={\big (}\alpha K^{\lambda }+(1-\alpha )N^{\lambda }{\big )}^{1/\lambda },\,}$

que se conoce como función de producción de elasticidad constante de sustitución (CES) .

La función de producción CES es una función homogénea de grado uno.

Cuando λ = 1, esto produce la función de producción lineal:

${\displaystyle Q=\alpha K+(1-\alpha )N.\,}$

Cuando λ → 0 esto produce la famosa función de producción Cobb-Douglas :

${\displaystyle Q=K^{\alpha }N^{1-\alpha }.\,}$

Actividades y demostraciones

Las páginas de recursos de SOCR contienen una serie de actividades interactivas prácticas ^[14] que demuestran la transformación de Box-Cox (potencia) mediante subprogramas y gráficos de Java. Estos ilustran directamente los efectos de esta transformación en gráficos Q-Q , gráficos de dispersión X-Y , gráficos de series temporales e histogramas .

Transformación de Yeo-Johnson

La transformación de Yeo-Johnson ^[15] también permite valores cero y negativos de . puede ser cualquier número real, donde produce la transformación de identidad. La ley de transformación dice: ${\displaystyle y}$ ${\displaystyle \lambda }$ ${\displaystyle \lambda =1}$

${\displaystyle y_{i}^{(\lambda )}={\begin{cases}((y_{i}+1)^{\lambda }-1)/\lambda &{\text{if }}\lambda \neq 0,y\geq 0\\[4pt]\ln(y_{i}+1)&{\text{if }}\lambda =0,y\geq 0\\[4pt]-((-y_{i}+1)^{(2-\lambda )}-1)/(2-\lambda )&{\text{if }}\lambda \neq 2,y<0\\[4pt]-\ln(-y_{i}+1)&{\text{if }}\lambda =2,y<0\end{cases}}}$

Transformación de Box-Tidwell

La transformación de Box-Tidwell es una técnica estadística que se utiliza para evaluar y corregir la no linealidad entre las variables predictoras y el logit en un modelo lineal generalizado, en particular en la regresión logística . Esta transformación es útil cuando la relación entre las variables independientes y el resultado no es lineal y no puede ser captada adecuadamente por el modelo estándar.

Descripción general

La transformación de Box-Tidwell fue desarrollada por George EP Box y John W. Tidwell en 1962 como una extensión de las transformaciones de Box-Cox , que se aplican a la variable dependiente. Sin embargo, a diferencia de la transformación de Box-Cox, la transformación de Box-Tidwell se aplica a las variables independientes en los modelos de regresión. Se utiliza a menudo cuando se viola el supuesto de linealidad entre los predictores y el resultado.

Método

La idea general detrás de la transformación de Box-Tidwell es aplicar una transformación de potencia a cada variable independiente Xi en el modelo de regresión:

${\displaystyle X_{i}'=X_{i}^{\lambda }}$

¿Dónde está el parámetro estimado a partir de los datos? Si la transformación de Box-Tidwell es significativamente diferente de 1, esto indica una relación no lineal entre Xi y el logit, y la transformación mejora el ajuste del modelo. ${\displaystyle \lambda }$

La prueba de Box-Tidwell se realiza generalmente ampliando el modelo de regresión con términos como y probando la significancia de los coeficientes. Si son significativos, esto sugiere que se debe aplicar una transformación para lograr una relación lineal entre el predictor y el logit. ${\displaystyle X_{i}\log(X_{i})}$

Aplicaciones

Predictores continuos estabilizadores

La transformación es beneficiosa en modelos de regresión logística o de riesgos proporcionales en los que la no linealidad de los predictores continuos puede distorsionar la relación con la variable dependiente. Es una herramienta flexible que permite al investigador ajustar un modelo más apropiado a los datos sin tener que adivinar de antemano la forma funcional de la relación.

Verificación de la linealidad en la regresión logística

En la regresión logística , un supuesto clave es que las variables independientes continuas presentan una relación lineal con el logit de la variable dependiente. Las violaciones de este supuesto pueden conducir a estimaciones sesgadas y a un rendimiento reducido del modelo. La transformación de Box-Tidwell es un método utilizado para evaluar y corregir dichas violaciones al determinar si un predictor continuo requiere una transformación para lograr la linealidad con el logit.

Método para verificar la linealidad

La transformación de Box-Tidwell introduce un término de interacción entre cada variable continua Xi y su logaritmo natural _: ${\displaystyle \log(X_{i})}$

${\displaystyle X_{i}\log(X_{i})}$

Este término se incluye en el modelo de regresión logística para comprobar si la relación entre Xi y el logit es no lineal. Un coeficiente estadísticamente significativo para este término de interacción indica una violación del supuesto de linealidad, lo _que sugiere la necesidad de una transformación del predictor. La transformación de Box-Tidwell proporciona una transformación de potencia adecuada para linealizar la relación, mejorando así la precisión y la validez del modelo. Por el contrario, los resultados no significativos respaldan el supuesto de linealidad.

Limitaciones

Una limitación de la transformación de Box-Tidwell es que solo funciona con valores positivos de las variables independientes. Si los datos contienen valores negativos, la transformación no se puede aplicar directamente sin modificar las variables (por ejemplo, agregando una constante).

Notas

1. Gao, Peisheng; Wu, Weilin (2006). "Clasificación de perturbaciones de la calidad de la energía mediante máquinas wavelet y de vectores de soporte". Sexta Conferencia Internacional sobre Diseño y Aplicaciones de Sistemas Inteligentes . ISDA '06. Vol. 1. Washington, DC, EE. UU.: IEEE Computer Society. págs. 201–206. doi :10.1109/ISDA.2006.217. ISBN 9780769525280.S2CID2444503  .​
2. Gluzman, S.; Yukalov, VI (1 de enero de 2006). "Transformadas de potencia autosimilares en problemas de extrapolación". Revista de química matemática . 39 (1): 47–56. arXiv : cond-mat/0606104 . Código Bibliográfico :2006cond.mat..6104G. doi :10.1007/s10910-005-9003-7. ISSN  1572-8897. S2CID  118965098.
3. Howarth, RJ; Earle, SAM (1979-02-01). "Aplicación de una transformación de potencia generalizada a datos geoquímicos". Revista de la Asociación Internacional de Geología Matemática . 11 (1): 45–62. doi :10.1007/BF01043245. ISSN  1573-8868. S2CID  121582755.
4. Peters, JL; Rushton, L.; Sutton, AJ; Jones, DR; Abrams, KR; Mugglestone, MA (2005). "Métodos bayesianos para la síntesis de diseño cruzado de evidencia epidemiológica y toxicológica". Journal of the Royal Statistical Society, Serie C. 54 : 159–172. doi :10.1111/j.1467-9876.2005.00476.x. S2CID  121909404.
5. Bickel, Peter J. ; Doksum, Kjell A. (junio de 1981). "An analysis of transformations revisited" (Un análisis de transformaciones revisado). Journal of the American Statistical Association . 76 (374): 296–311. doi :10.1080/01621459.1981.10477649.
6. Sakia, RM (1992), "La técnica de transformación Box-Cox: una revisión", The Statistician , 41 (2): 169–178, CiteSeerX 10.1.1.469.7176 , doi :10.2307/2348250, JSTOR  2348250 
7. Li, Fengfei (11 de abril de 2005), Transformaciones Box-Cox: una visión general (PDF) (presentación de diapositivas), Sao Paulo, Brasil: Universidad de Sao Paulo, Brasil , consultado el 2 de noviembre de 2014
8. Box, George EP ; Cox, DR (1964). "Un análisis de transformaciones". Revista de la Royal Statistical Society, Serie B . 26 (2): 211–252. JSTOR  2984418. MR  0192611.
9. Johnston, J. (1984). Métodos econométricos (tercera edición). Nueva York: McGraw-Hill. pp. 61–74. ISBN 978-0-07-032685-9.
10. Asar, O.; Ilk, O.; Dag, O. (2017). "Estimación del parámetro de transformación de potencia de Box-Cox mediante pruebas de bondad de ajuste". Comunicaciones en Estadística - Simulación y Computación . 46 (1): 91–105. arXiv : 1401.3812 . doi :10.1080/03610918.2014.957839. S2CID  41501327.
11. Abramovich, Felix; Ritov, Ya'acov (2013). Teoría estadística: una introducción concisa . CRC Press. págs. 121–122. ISBN 978-1-4398-5184-5.
12. Conjunto de datos de BUPA sobre trastornos hepáticos
13. Zarembka, P. (1974). "Transformación de variables en econometría". Frontiers in Econometrics . Nueva York: Academic Press. pp. 81–104. ISBN 0-12-776150-0.
14. Gráficos de la familia de transformadas de potencia, páginas web de SOCR
15. Yeo, In-Kwon; Johnson, Richard A. (2000). "Una nueva familia de transformaciones de potencia para mejorar la normalidad o la simetría". Biometrika . 87 (4): 954–959. doi :10.1093/biomet/87.4.954. JSTOR  2673623.

Referencias

• Box, George EP ; Cox, DR (1964). "Análisis de transformaciones". Revista de la Royal Statistical Society, Serie B . 26 (2): 211–252. JSTOR  2984418. MR  0192611.
• Carroll, RJ; Ruppert, D. (1981). "Sobre la predicción y la familia de transformaciones de potencia" (PDF) . Biometrika . 68 (3): 609–615. doi :10.1093/biomet/68.3.609.
• DeGroot, MH (1987). "Una conversación con George Box" (PDF) . Ciencia estadística . 2 (3): 239–258. doi : 10.1214/ss/1177013223 .
• Handelsman, DJ (2002). "Transformaciones de potencia óptimas para el análisis de la concentración de espermatozoides y otras variables del semen". Journal of Andrology . 23 (5).
• Gluzman, S.; Yukalov, VI (2006). "Transformadas de potencia autosimilares en problemas de extrapolación". Journal of Mathematical Chemistry . 39 (1): 47–56. arXiv : cond-mat/0606104 . Bibcode :2006cond.mat..6104G. doi :10.1007/s10910-005-9003-7. S2CID  118965098.
• Howarth, RJ; Earle, SAM (1979). "Aplicación de una transformación de potencia generalizada a datos geoquímicos". Revista de la Asociación Internacional de Geología Matemática . 11 (1): 45–62. doi :10.1007/BF01043245. S2CID  121582755.
• Box, GEP y Tidwell, PW (1962) Transformación de variables independientes. Technometrics, 4, 531-550. https://doi.org/10.1080/00401706.1962.10490038 (también conocida como transformación Box-Tidwell)

Enlaces externos

• Nishii, R. (2001) [1994], "Transformación de Box-Cox", Enciclopedia de Matemáticas , EMS Press(enlace fijo)
• Sanford Weisberg, Yeo-Johnson Transformaciones de energía