Regresión logística multinomial

Regresión para más de dos resultados discretos

En estadística , la regresión logística multinomial es un método de clasificación que generaliza la regresión logística a problemas multiclase , es decir, con más de dos posibles resultados discretos. ^[1] Es decir, es un modelo que se utiliza para predecir las probabilidades de los diferentes resultados posibles de una variable dependiente distribuida categóricamente , dado un conjunto de variables independientes (que pueden ser de valor real, de valor binario, de valor categórico, etc.).

La regresión logística multinomial se conoce por una variedad de otros nombres, incluidos LR politómico , ^{[2] [3]} LR multiclase , regresión softmax , logit multinomial ( mlogit ), el clasificador de máxima entropía ( MaxEnt ) y el modelo de máxima entropía condicional . ^[4]

Fondo

La regresión logística multinomial se utiliza cuando la variable dependiente en cuestión es nominal (equivalentemente categórica , es decir, que pertenece a cualquiera de un conjunto de categorías que no se pueden ordenar de ninguna manera significativa) y para la cual existen más de dos categorías. Algunos ejemplos serían:

• ¿Qué especialidad elegirá un estudiante universitario, teniendo en cuenta sus calificaciones, sus gustos y disgustos declarados, etc.?
• ¿Qué tipo de sangre tiene una persona, dados los resultados de varias pruebas diagnósticas?
• En una aplicación de marcación de teléfono móvil manos libres, ¿el nombre de qué persona se pronunció, dadas varias propiedades de la señal de voz?
• ¿Por cuál candidato votará una persona, dadas unas características demográficas particulares?
• ¿En qué país una empresa ubicará una oficina, dadas las características de la empresa y de los distintos países candidatos?

Todos estos son problemas de clasificación estadística . Todos ellos tienen en común una variable dependiente que se debe predecir y que proviene de uno de un conjunto limitado de elementos que no se pueden ordenar de manera significativa, así como un conjunto de variables independientes (también conocidas como características, explicadores, etc.), que se utilizan para predecir la variable dependiente. La regresión logística multinomial es una solución particular para los problemas de clasificación que utilizan una combinación lineal de las características observadas y algunos parámetros específicos del problema para estimar la probabilidad de cada valor particular de la variable dependiente. Los mejores valores de los parámetros para un problema determinado se determinan generalmente a partir de algunos datos de entrenamiento (por ejemplo, algunas personas de las que se conocen tanto los resultados de las pruebas de diagnóstico como los tipos de sangre, o algunos ejemplos de palabras conocidas que se pronuncian).

Suposiciones

El modelo logístico multinomial supone que los datos son específicos de cada caso, es decir, cada variable independiente tiene un único valor para cada caso. Al igual que con otros tipos de regresión, no es necesario que las variables independientes sean estadísticamente independientes entre sí (a diferencia, por ejemplo, de un clasificador bayesiano ingenuo ); sin embargo, se supone que la colinealidad es relativamente baja, ya que resulta difícil diferenciar entre el impacto de varias variables si este no es el caso. ^[5]

Si se utiliza el logit multinomial para modelar las elecciones, se basa en el supuesto de independencia de alternativas irrelevantes (IIA), que no siempre es deseable. Este supuesto establece que las probabilidades de preferir una clase sobre otra no dependen de la presencia o ausencia de otras alternativas "irrelevantes". Por ejemplo, las probabilidades relativas de tomar un automóvil o un autobús para ir al trabajo no cambian si se agrega una bicicleta como una posibilidad adicional. Esto permite modelar la elección de K alternativas como un conjunto de K  − 1 opciones binarias independientes, en las que se elige una alternativa como "pivote" y se comparan las otras K  − 1 con ella, una a la vez. La hipótesis IIA es una hipótesis central en la teoría de la elección racional; sin embargo, numerosos estudios en psicología muestran que los individuos a menudo violan este supuesto al tomar decisiones. Un ejemplo de un caso problemático surge si las opciones incluyen un automóvil y un autobús azul. Supongamos que la razón de probabilidades entre los dos es 1:1. Ahora bien, si se introduce la opción de un autobús rojo, una persona puede ser indiferente entre un autobús rojo y uno azul y, por lo tanto, puede mostrar una razón de probabilidades coche:autobús azul:autobús rojo de 1:0,5:0,5, manteniendo así una razón de 1:1 de coche:cualquier autobús mientras adopta una razón cambiada de coche:autobús azul de 1:0,5. Aquí la opción del autobús rojo no era de hecho irrelevante, porque un autobús rojo era un sustituto perfecto de un autobús azul.

Si se utiliza el logit multinomial para modelar las opciones, en algunas situaciones puede imponer demasiadas restricciones a las preferencias relativas entre las diferentes alternativas. Es especialmente importante tenerlo en cuenta si el análisis pretende predecir cómo cambiarían las opciones si desapareciera una alternativa (por ejemplo, si un candidato político se retira de una contienda con tres candidatos). En esos casos se pueden utilizar otros modelos, como el logit anidado o el probit multinomial , ya que permiten la violación del IIA. ^[6]

Modelo

Introducción

Existen múltiples formas equivalentes de describir el modelo matemático que subyace a la regresión logística multinomial. Esto puede dificultar la comparación de diferentes tratamientos del tema en diferentes textos. El artículo sobre regresión logística presenta varias formulaciones equivalentes de regresión logística simple, y muchas de ellas tienen análogos en el modelo logit multinomial.

La idea detrás de todos ellos, como en muchas otras técnicas de clasificación estadística , es construir una función predictora lineal que construye una puntuación a partir de un conjunto de pesos que se combinan linealmente con las variables explicativas (características) de una observación dada utilizando un producto escalar :

${\displaystyle \operatorname {score} (\mathbf {X} _{i},k)={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i},}$

donde X _i es el vector de variables explicativas que describen la observación i , β _k es un vector de pesos (o coeficientes de regresión ) correspondientes al resultado k , y score( X _i , k ) es el puntaje asociado con la asignación de la observación i a la categoría k . En la teoría de elección discreta , donde las observaciones representan personas y los resultados representan elecciones, el puntaje se considera la utilidad asociada con la persona i que elige el resultado k . El resultado predicho es el que tiene el puntaje más alto.

La diferencia entre el modelo logit multinomial y otros numerosos métodos, modelos, algoritmos, etc. con la misma configuración básica (el algoritmo del perceptrón , las máquinas de vectores de soporte , el análisis discriminante lineal , etc.) es el procedimiento para determinar (entrenar) los pesos/coeficientes óptimos y la forma en que se interpreta la puntuación. En particular, en el modelo logit multinomial, la puntuación se puede convertir directamente en un valor de probabilidad, que indica la probabilidad de que la observación i elija el resultado k dadas las características medidas de la observación. Esto proporciona una forma basada en principios de incorporar la predicción de un modelo logit multinomial particular en un procedimiento más amplio que puede implicar múltiples predicciones de este tipo, cada una con una posibilidad de error. Sin estos medios de combinar predicciones, los errores tienden a multiplicarse. Por ejemplo, imaginemos un gran modelo predictivo que se divide en una serie de submodelos, donde la predicción de un submodelo dado se utiliza como entrada de otro submodelo, y esa predicción se utiliza a su vez como entrada de un tercer submodelo, etc. Si cada submodelo tiene una precisión del 90% en sus predicciones, y hay cinco submodelos en serie, entonces el modelo general tiene solo un 0,9 ⁵ = 59% de precisión. Si cada submodelo tiene un 80% de precisión, entonces la precisión general cae a un 0,8 ⁵ = 33% de precisión. Este problema se conoce como propagación de errores y es un problema grave en los modelos predictivos del mundo real, que suelen estar compuestos de numerosas partes. Predecir las probabilidades de cada resultado posible, en lugar de simplemente hacer una única predicción óptima, es un medio para aliviar este problema. ^{[ cita requerida ]}

Configuración

La configuración básica es la misma que en la regresión logística , con la única diferencia de que las variables dependientes son categóricas en lugar de binarias , es decir, hay K resultados posibles en lugar de solo dos. La siguiente descripción está algo abreviada; para obtener más detalles, consulte el artículo sobre regresión logística .

Puntos de datos

En concreto, se supone que tenemos una serie de N puntos de datos observados. Cada punto de datos i (que va de 1 a N ) consta de un conjunto de M variables explicativas x _{1, i} ... x _{M, i} (también conocidas como variables independientes , variables predictoras, características, etc.) y un resultado categórico asociado Y _i (también conocido como variable dependiente , variable de respuesta), que puede adoptar uno de los K valores posibles. Estos valores posibles representan categorías lógicamente separadas (por ejemplo, diferentes partidos políticos, tipos de sangre, etc.) y a menudo se describen matemáticamente asignando arbitrariamente a cada una un número de 1 a K . Las variables explicativas y el resultado representan propiedades observadas de los puntos de datos y, a menudo, se piensa que se originan en las observaciones de N "experimentos", aunque un "experimento" puede consistir en nada más que la recopilación de datos. El objetivo de la regresión logística multinomial es construir un modelo que explique la relación entre las variables explicativas y el resultado, de modo que el resultado de un nuevo "experimento" pueda predecirse correctamente para un nuevo punto de datos para el que se dispone de las variables explicativas, pero no del resultado. En el proceso, el modelo intenta explicar el efecto relativo de las distintas variables explicativas sobre el resultado.

Algunos ejemplos:

• Los resultados observados son diferentes variantes de una enfermedad como la hepatitis (posiblemente incluyendo "ninguna enfermedad" y/u otras enfermedades relacionadas) en un conjunto de pacientes, y las variables explicativas podrían ser características de los pacientes que se consideran pertinentes (sexo, raza, edad, presión arterial , resultados de varias pruebas de función hepática, etc.). El objetivo es entonces predecir qué enfermedad está causando los síntomas hepáticos observados en un nuevo paciente.
• Los resultados observados son el partido elegido por un conjunto de personas en una elección, y las variables explicativas son las características demográficas de cada persona (por ejemplo, sexo, raza, edad, ingresos, etc.). El objetivo es entonces predecir el voto probable de un nuevo votante con características dadas.

Predictor lineal

Al igual que en otras formas de regresión lineal, la regresión logística multinomial utiliza una función predictora lineal para predecir la probabilidad de que la observación i tenga el resultado k , de la siguiente forma: ${\displaystyle f(k,i)}$

${\displaystyle f(k,i)=\beta _{0,k}+\beta _{1,k}x_{1,i}+\beta _{2,k}x_{2,i}+\cdots +\beta _{M,k}x_{M,i},}$

donde es un coeficiente de regresión asociado con la variable explicativa m y el resultado k . Como se explica en el artículo de regresión logística , los coeficientes de regresión y las variables explicativas normalmente se agrupan en vectores de tamaño M  + 1, de modo que la función predictora se puede escribir de forma más compacta: ${\displaystyle \beta _{m,k}}$

${\displaystyle f(k,i)={\boldsymbol {\beta }}_{k}\cdot \mathbf {x} _{i},}$

donde es el conjunto de coeficientes de regresión asociados con el resultado k , y (un vector de fila) es el conjunto de variables explicativas asociadas con la observación i , antepuestas por un 1 en la entrada 0. ${\displaystyle {\boldsymbol {\beta }}_{k}}$ ${\displaystyle \mathbf {x} _{i}}$

Como un conjunto de regresiones binarias independientes

Para llegar al modelo logit multinomial, se puede imaginar, para K resultados posibles, ejecutar K modelos de regresión logística binaria independientes, en los que se elige un resultado como "pivote" y luego se hace una regresión por separado de los otros K  − 1 resultados contra el resultado pivote. Si se elige el resultado K (el último resultado) como pivote, las K  − 1 ecuaciones de regresión son:

${\displaystyle \ln {\frac {\Pr(Y_{i}=k)}{\Pr(Y_{i}=K)}}\,=\,{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i},\;\;\;\;\;\;1\leq k<K}$.

Esta fórmula también se conoce como transformación de razón logarítmica aditiva, que se utiliza habitualmente en el análisis de datos compositivos. En otras aplicaciones se la denomina “riesgo relativo”. ^[7]

Si exponenciamos ambos lados y resolvemos las probabilidades, obtenemos:

${\displaystyle \Pr(Y_{i}=k)\,=\,{\Pr(Y_{i}=K)}\;e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}},\;\;\;\;\;\;1\leq k<K}$

Utilizando el hecho de que todas las K probabilidades deben sumar uno, encontramos:

${\displaystyle {\begin{aligned}\Pr(Y_{i}=K)={}&1-\sum _{j=1}^{K-1}\Pr(Y_{i}=j)\\={}&1-\sum _{j=1}^{K-1}{\Pr(Y_{i}=K)}\;e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}\;\;\Rightarrow \;\;\Pr(Y_{i}=K)\\={}&{\frac {1}{1+\sum _{j=1}^{K-1}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}}.\end{aligned}}}$

Podemos usar esto para encontrar las otras probabilidades:

${\displaystyle \Pr(Y_{i}=k)={\frac {e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}{1+\sum _{j=1}^{K-1}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}},\;\;\;\;\;\;1\leq k<K}$.

El hecho de que ejecutemos regresiones múltiples revela por qué el modelo se basa en el supuesto de independencia de alternativas irrelevantes descrito anteriormente.

Estimación de los coeficientes

Los parámetros desconocidos en cada vector β _k se estiman típicamente de manera conjunta mediante una estimación a posteriori máxima (MAP), que es una extensión de la máxima verosimilitud que utiliza la regularización de los pesos para evitar soluciones patológicas (normalmente una función de regularización al cuadrado, que equivale a colocar una distribución previa gaussiana de media cero en los pesos, pero también son posibles otras distribuciones). La solución se encuentra típicamente utilizando un procedimiento iterativo como el escalamiento iterativo generalizado ^[8] , los mínimos cuadrados reponderados iterativamente (IRLS), ^[9] mediante algoritmos de optimización basados ​​en gradientes como L-BFGS [ ^4] o mediante algoritmos especializados de descenso de coordenadas ^[10] .

Como modelo log-lineal

La formulación de la regresión logística binaria como un modelo log-lineal se puede extender directamente a la regresión multidireccional. Es decir, modelamos el logaritmo de la probabilidad de ver un resultado dado utilizando el predictor lineal, así como un factor de normalización adicional , el logaritmo de la función de partición :

${\displaystyle \ln \Pr(Y_{i}=k)={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}-\ln Z,\;\;\;\;\;\;1\leq k\leq K.}$

Al igual que en el caso binario, necesitamos un término adicional para garantizar que todo el conjunto de probabilidades forme una distribución de probabilidad , es decir, que todas sumen uno: ${\displaystyle -\ln Z}$

${\displaystyle \sum _{k=1}^{K}\Pr(Y_{i}=k)=1}$

La razón por la que necesitamos añadir un término para garantizar la normalización, en lugar de multiplicar como es habitual, es porque hemos tomado el logaritmo de las probabilidades. Al exponenciar ambos lados, el término aditivo se convierte en un factor multiplicativo, de modo que la probabilidad es simplemente la medida de Gibbs :

${\displaystyle \Pr(Y_{i}=k)={\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}},\;\;\;\;\;\;1\leq k\leq K.}$

La cantidad Z se denomina función de partición de la distribución. Podemos calcular el valor de la función de partición aplicando la restricción anterior que exige que todas las probabilidades sumen 1:

${\displaystyle 1=\sum _{k=1}^{K}\Pr(Y_{i}=k)\;=\;\sum _{k=1}^{K}{\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}\;=\;{\frac {1}{Z}}\sum _{k=1}^{K}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}.}$

Por lo tanto

${\displaystyle Z=\sum _{k=1}^{K}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}.}$

Obsérvese que este factor es "constante" en el sentido de que no es una función de Y _i , que es la variable sobre la que se define la distribución de probabilidad. Sin embargo, definitivamente no es constante con respecto a las variables explicativas o, fundamentalmente, con respecto a los coeficientes de regresión desconocidos β _k , que necesitaremos determinar mediante algún tipo de procedimiento de optimización .

Las ecuaciones resultantes para las probabilidades son

${\displaystyle \Pr(Y_{i}=k)={\frac {e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}{\sum _{j=1}^{K}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}},\;\;\;\;\;\;1\leq k\leq K.}$

O en general:

${\displaystyle \Pr(Y_{i}=c)={\frac {e^{{\boldsymbol {\beta }}_{c}\cdot \mathbf {X} _{i}}}{\sum _{j=1}^{K}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}}}$

La siguiente función:

${\displaystyle \operatorname {softmax} (k,s_{1},\ldots ,s_{n})={\frac {e^{s_{k}}}{\sum _{i=1}^{n}e^{s_{i}}}}}$

Se denomina función softmax . La razón es que el efecto de exponenciar los valores es exagerar las diferencias entre ellos. Como resultado, devolverá un valor cercano a 0 siempre que sea significativamente menor que el máximo de todos los valores, y devolverá un valor cercano a 1 cuando se aplique al valor máximo, a menos que esté extremadamente cerca del siguiente valor más grande. Por lo tanto, la función softmax se puede utilizar para construir un promedio ponderado que se comporte como una función suave (que se puede diferenciar convenientemente , etc.) y que se aproxime a la función indicadora. ${\displaystyle s_{1},\ldots ,s_{n}}$ ${\displaystyle \operatorname {softmax} (k,s_{1},\ldots ,s_{n})}$ ${\displaystyle s_{k}}$

${\displaystyle f(k)={\begin{cases}1&{\textrm {if}}\;k=\operatorname {\arg \max } _{i}s_{i},\\0&{\textrm {otherwise}}.\end{cases}}}$

Por lo tanto, podemos escribir las ecuaciones de probabilidad como

${\displaystyle \Pr(Y_{i}=c)=\operatorname {softmax} (c,{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i},\ldots ,{\boldsymbol {\beta }}_{K}\cdot \mathbf {X} _{i})}$

La función softmax sirve entonces como equivalente de la función logística en la regresión logística binaria.

Nótese que no todos los vectores de coeficientes son identificables de forma única . Esto se debe al hecho de que todas las probabilidades deben sumar 1, lo que hace que una de ellas esté completamente determinada una vez que se conocen todas las demás. Como resultado, solo hay probabilidades especificables por separado y, por lo tanto, vectores de coeficientes identificables por separado. Una forma de ver esto es notar que si agregamos un vector constante a todos los vectores de coeficientes, las ecuaciones son idénticas: ${\displaystyle \beta _{k}}$ ${\displaystyle K-1}$ ${\displaystyle K-1}$

${\displaystyle {\begin{aligned}{\frac {e^{({\boldsymbol {\beta }}_{c}+C)\cdot \mathbf {X} _{i}}}{\sum _{k=1}^{K}e^{({\boldsymbol {\beta }}_{k}+C)\cdot \mathbf {X} _{i}}}}&={\frac {e^{{\boldsymbol {\beta }}_{c}\cdot \mathbf {X} _{i}}e^{C\cdot \mathbf {X} _{i}}}{\sum _{k=1}^{K}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}e^{C\cdot \mathbf {X} _{i}}}}\\&={\frac {e^{C\cdot \mathbf {X} _{i}}e^{{\boldsymbol {\beta }}_{c}\cdot \mathbf {X} _{i}}}{e^{C\cdot \mathbf {X} _{i}}\sum _{k=1}^{K}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}}\\&={\frac {e^{{\boldsymbol {\beta }}_{c}\cdot \mathbf {X} _{i}}}{\sum _{k=1}^{K}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}}\end{aligned}}}$

Como resultado, es convencional establecer (o alternativamente, uno de los otros vectores de coeficientes). Básicamente, establecemos la constante de modo que uno de los vectores se convierta en 0, y todos los demás vectores se transformen en la diferencia entre esos vectores y el vector que elegimos. Esto es equivalente a "pivotar" en torno a una de las K opciones y examinar cuánto mejores o peores son todas las otras K  − 1 opciones, en relación con la opción en torno a la cual estamos girando. Matemáticamente, transformamos los coeficientes de la siguiente manera: ${\displaystyle C=-{\boldsymbol {\beta }}_{K}}$

${\displaystyle {\begin{aligned}{\boldsymbol {\beta }}'_{k}&={\boldsymbol {\beta }}_{k}-{\boldsymbol {\beta }}_{K},\;\;\;\;1\leq k<K\\{\boldsymbol {\beta }}'_{K}&=0\end{aligned}}}$

Esto nos lleva a las siguientes ecuaciones:

${\displaystyle \Pr(Y_{i}=k)={\frac {e^{{\boldsymbol {\beta }}'_{k}\cdot \mathbf {X} _{i}}}{1+\sum _{j=1}^{K-1}e^{{\boldsymbol {\beta }}'_{j}\cdot \mathbf {X} _{i}}}},\;\;\;\;\;\;1\leq k\leq K}$

Aparte de los símbolos primos en los coeficientes de regresión, esto es exactamente lo mismo que la forma del modelo descrito anteriormente, en términos de K  − 1 regresiones bidireccionales independientes.

Como modelo de variable latente

También es posible formular la regresión logística multinomial como un modelo de variable latente, siguiendo el modelo de variable latente de dos vías descrito para la regresión logística binaria. Esta formulación es común en la teoría de modelos de elección discreta y facilita la comparación de la regresión logística multinomial con el modelo probit multinomial relacionado , así como su extensión a modelos más complejos.

Imaginemos que, para cada punto de datos i y resultado posible k  = 1,2,..., K , hay una variable latente continua Y _i,k ^* (es decir, una variable aleatoria no observada ) que se distribuye de la siguiente manera:

${\displaystyle Y_{i,k}^{\ast }={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}+\varepsilon _{k}\;\;\;\;,\;\;k\leq K}$

donde es una distribución de valor extremo tipo 1 estándar . ${\displaystyle \varepsilon _{k}\sim \operatorname {EV} _{1}(0,1),}$

Esta variable latente puede considerarse como la utilidad asociada con el punto de datos i que elige el resultado k , donde hay cierta aleatoriedad en la cantidad real de utilidad obtenida, que explica otros factores no modelados que intervienen en la elección. El valor de la variable real se determina entonces de manera no aleatoria a partir de estas variables latentes (es decir, la aleatoriedad se ha trasladado de los resultados observados a las variables latentes), donde el resultado k se elige si y solo si la utilidad asociada (el valor de ) es mayor que las utilidades de todas las demás opciones, es decir, si la utilidad asociada con el resultado k es el máximo de todas las utilidades. Dado que las variables latentes son continuas , la probabilidad de que dos tengan exactamente el mismo valor es 0, por lo que ignoramos el escenario. Es decir: ${\displaystyle Y_{i}}$ ${\displaystyle Y_{i,k}^{\ast }}$

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1)&=\Pr(Y_{i,1}^{\ast }>Y_{i,2}^{\ast }{\text{ and }}Y_{i,1}^{\ast }>Y_{i,3}^{\ast }{\text{ and }}\cdots {\text{ and }}Y_{i,1}^{\ast }>Y_{i,K}^{\ast })\\\Pr(Y_{i}=2)&=\Pr(Y_{i,2}^{\ast }>Y_{i,1}^{\ast }{\text{ and }}Y_{i,2}^{\ast }>Y_{i,3}^{\ast }{\text{ and }}\cdots {\text{ and }}Y_{i,2}^{\ast }>Y_{i,K}^{\ast })\\&\,\,\,\vdots \\\Pr(Y_{i}=K)&=\Pr(Y_{i,K}^{\ast }>Y_{i,1}^{\ast }{\text{ and }}Y_{i,K}^{\ast }>Y_{i,2}^{\ast }{\text{ and }}\cdots {\text{ and }}Y_{i,K}^{\ast }>Y_{i,K-1}^{\ast })\\\end{aligned}}}$

O equivalentemente:

${\displaystyle \Pr(Y_{i}=k)\;=\;\Pr(\max(Y_{i,1}^{\ast },Y_{i,2}^{\ast },\ldots ,Y_{i,K}^{\ast })=Y_{i,k}^{\ast })\;\;\;\;,\;\;k\leq K}$

Veamos más de cerca la primera ecuación, que podemos escribir de la siguiente manera:

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1)&=\Pr(Y_{i,1}^{\ast }>Y_{i,k}^{\ast }\ \forall \ k=2,\ldots ,K)\\&=\Pr(Y_{i,1}^{\ast }-Y_{i,k}^{\ast }>0\ \forall \ k=2,\ldots ,K)\\&=\Pr({\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}+\varepsilon _{1}-({\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}+\varepsilon _{k})>0\ \forall \ k=2,\ldots ,K)\\&=\Pr(({\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{k})\cdot \mathbf {X} _{i}>\varepsilon _{k}-\varepsilon _{1}\ \forall \ k=2,\ldots ,K)\end{aligned}}}$

Hay algunas cosas que debemos tener en cuenta aquí:

1. En general, si y entonces Es decir, la diferencia de dos variables independientes distribuidas de forma idéntica y con distribución de valores extremos sigue la distribución logística , donde el primer parámetro no es importante. Esto es comprensible ya que el primer parámetro es un parámetro de ubicación , es decir, desplaza la media en una cantidad fija, y si dos valores se desplazan en la misma cantidad, su diferencia sigue siendo la misma. Esto significa que todas las afirmaciones relacionales que subyacen a la probabilidad de una elección dada involucran la distribución logística, lo que hace que la elección inicial de la distribución de valores extremos, que parecía bastante arbitraria, sea algo más comprensible. ${\displaystyle X\sim \operatorname {EV} _{1}(a,b)}$ ${\displaystyle Y\sim \operatorname {EV} _{1}(a,b)}$ ${\displaystyle X-Y\sim \operatorname {Logistic} (0,b).}$
2. El segundo parámetro en una distribución logística o de valores extremos es un parámetro de escala , tal que si entonces Esto significa que el efecto de usar una variable de error con un parámetro de escala arbitrario en lugar de la escala 1 se puede compensar simplemente multiplicando todos los vectores de regresión por la misma escala. Junto con el punto anterior, esto muestra que el uso de una distribución de valores extremos estándar (ubicación 0, escala 1) para las variables de error no implica pérdida de generalidad sobre el uso de una distribución de valores extremos arbitraria. De hecho, el modelo no es identificable (no hay un conjunto único de coeficientes óptimos) si se usa la distribución más general. ${\displaystyle X\sim \operatorname {Logistic} (0,1)}$ ${\displaystyle bX\sim \operatorname {Logistic} (0,b).}$
3. Dado que solo se utilizan diferencias de vectores de coeficientes de regresión, agregar una constante arbitraria a todos los vectores de coeficientes no tiene efecto en el modelo. Esto significa que, al igual que en el modelo log-lineal, solo K  − 1 de los vectores de coeficientes son identificables y el último puede establecerse en un valor arbitrario (por ejemplo, 0).

En realidad, encontrar los valores de las probabilidades anteriores es algo difícil y es un problema de cálculo de una estadística de orden particular (la primera, es decir, la máxima) de un conjunto de valores. Sin embargo, se puede demostrar que las expresiones resultantes son las mismas que en las formulaciones anteriores, es decir, que las dos son equivalentes.

Estimación de la intersección

Al utilizar la regresión logística multinomial, se elige una categoría de la variable dependiente como categoría de referencia. Se determinan razones de probabilidades independientes para todas las variables independientes para cada categoría de la variable dependiente, con excepción de la categoría de referencia, que se omite del análisis. El coeficiente beta exponencial representa el cambio en las probabilidades de que la variable dependiente se encuentre en una categoría particular en comparación con la categoría de referencia, asociado con un cambio de una unidad de la variable independiente correspondiente.

Función de verosimilitud

Los valores observados de las variables explicadas se consideran realizaciones de variables aleatorias distribuidas categóricamente y estocásticamente independientes . ${\displaystyle y_{i}\in \{1,\dots ,K\}}$ ${\displaystyle i=1,\dots ,n}$ ${\displaystyle Y_{1},\dots ,Y_{n}}$

La función de verosimilitud para este modelo está definida por

${\displaystyle L=\prod _{i=1}^{n}P(Y_{i}=y_{i})=\prod _{i=1}^{n}\prod _{j=1}^{K}P(Y_{i}=j)^{\delta _{j,y_{i}}},}$

donde el índice denota las observaciones 1 a n y el índice denota las clases 1 a K. es el delta de Kronecker . ${\displaystyle i}$ ${\displaystyle j}$ ${\displaystyle \delta _{j,y_{i}}={\begin{cases}1,{\text{ for }}j=y_{i}\\0,{\text{ otherwise}}\end{cases}}}$

La función de verosimilitud logarítmica negativa es, por tanto, la conocida entropía cruzada:

${\displaystyle -\log L=-\sum _{i=1}^{n}\sum _{j=1}^{K}\delta _{j,y_{i}}\log(P(Y_{i}=j))=-\sum _{j=1}^{K}\sum _{y_{i}=j}\log(P(Y_{i}=j)).}$

Aplicación en el procesamiento del lenguaje natural

En el procesamiento del lenguaje natural , los clasificadores LR multinomiales se utilizan comúnmente como una alternativa a los clasificadores Bayes ingenuos porque no suponen la independencia estadística de las variables aleatorias (comúnmente conocidas como características ) que sirven como predictores. Sin embargo, el aprendizaje en un modelo de este tipo es más lento que para un clasificador Bayes ingenuo y, por lo tanto, puede no ser apropiado dada una gran cantidad de clases para aprender. En particular, el aprendizaje en un clasificador Bayes ingenuo es una simple cuestión de contar el número de coocurrencias de características y clases, mientras que en un clasificador de entropía máxima los pesos, que normalmente se maximizan utilizando la estimación máxima a posteriori (MAP), deben aprenderse utilizando un procedimiento iterativo; consulte #Estimación de los coeficientes.

Véase también

• Regresión logística
• Probit multinomial

Referencias

1. Greene, William H. (2012). Análisis econométrico (séptima edición). Boston: Pearson Education. pp. 803–806. ISBN 978-0-273-75356-8.
2. Engel, J. (1988). "Regresión logística politómica". Statistica Neerlandica . 42 (4): 233–252. doi :10.1111/j.1467-9574.1988.tb01238.x.
3. Menard, Scott (2002). Análisis de regresión logística aplicada . SAGE. pág. 91. ISBN 9780761922087.
4. Malouf, Robert (2002). Una comparación de algoritmos para la estimación de parámetros de máxima entropía (PDF) . Sexta Conferencia sobre Aprendizaje de Lenguaje Natural (CoNLL). pp. 49–55.
5. Belsley, David (1991). Diagnóstico de condicionamiento: colinealidad y datos débiles en regresión . Nueva York: Wiley. ISBN 9780471528890.
6. Baltas, G.; Doyle, P. (2001). "Modelos de utilidad aleatorios en la investigación de marketing: una encuesta". Revista de investigación empresarial . 51 (2): 115–125. doi :10.1016/S0148-2963(99)00058-2.
7. Manual de Stata “mlogit — Regresión logística multinomial (politómica)”
8. Darroch, JN y Ratcliff, D. (1972). "Escalamiento iterativo generalizado para modelos log-lineales". Anales de estadística matemática . 43 (5): 1470–1480. doi : 10.1214/aoms/1177692379 .
9. Bishop, Christopher M. (2006). Reconocimiento de patrones y aprendizaje automático . Springer. págs. 206–209.
10. Yu, Hsiang-Fu; Huang, Fang-Lan; Lin, Chih-Jen (2011). "Métodos de descenso de coordenadas duales para modelos de regresión logística y de máxima entropía" (PDF) . Aprendizaje automático . 85 (1–2): 41–75. doi : 10.1007/s10994-010-5221-8 .