Elección discreta dinámica

Los modelos de elección discreta dinámica (DDC) , también conocidos como modelos de elección discreta de programación dinámica , modelan las elecciones de un agente sobre opciones discretas que tienen implicaciones futuras. En lugar de asumir que las elecciones observadas son el resultado de la maximización estática de la utilidad, se supone que las elecciones observadas en los modelos DDC resultan de la maximización del valor presente de la utilidad por parte de un agente, generalizando la teoría de la utilidad en la que se basan los modelos de elección discreta . ^[1]

El objetivo de los métodos DDC es estimar los parámetros estructurales del proceso de decisión del agente. Una vez que se conocen estos parámetros, el investigador puede utilizar las estimaciones para simular cómo se comportaría el agente en un estado contrafactual del mundo. (Por ejemplo, cómo cambiaría la decisión de inscripción de un posible estudiante universitario en respuesta a un aumento de la matrícula).

Representación matemática

El problema de maximización del agente se puede escribir matemáticamente de la siguiente manera: ${\displaystyle n}$

${\displaystyle V\left(x_{n0}\right)=\max _{\left\{d_{nt}\right\}_{t=1}^{T}}\mathbb {E} \left(\sum _{t^{\prime }=t}^{T}\sum _{i=1}^{J}\beta ^{t'-t}\left(d_{nt}=i\right)U_{nit}\left(x_{nt},\varepsilon _{nit}\right)\right),}$

dónde

• ${\displaystyle x_{nt}}$son variables de estado , con la condición inicial del agente ${\displaystyle x_{n0}}$
• ${\displaystyle d_{nt}}$representa la decisión de entre alternativas discretas ${\displaystyle n}$ ${\displaystyle J}$
• ${\displaystyle \beta \in \left(0,1\right)}$es el factor de descuento
• ${\displaystyle U_{nit}}$es el flujo que recibe la utilidad al elegir una alternativa en el período , y depende tanto del estado como de factores no observados ${\displaystyle n}$ ${\displaystyle i}$ ${\displaystyle t}$ ${\displaystyle x_{nt}}$ ${\displaystyle \varepsilon _{nit}}$
• ${\displaystyle T}$es el horizonte temporal
• La expectativa se apodera tanto de los 's como de los 'in' . Es decir, el agente no está seguro acerca de las transiciones futuras en los estados, y también está inseguro acerca de la realización futura de factores no observados. ${\displaystyle \mathbb {E} \left(\cdot \right)}$ ${\displaystyle x_{nt}}$ ${\displaystyle \varepsilon _{nit}}$ ${\displaystyle U_{nit}}$

Simplificación de supuestos y notación

Es estándar imponer los siguientes supuestos simplificadores y notación del problema de decisión dinámica:

1. La utilidad del flujo es separable de forma aditiva y tiene parámetros lineales.

La utilidad del flujo se puede escribir como una suma aditiva, que consta de elementos deterministas y estocásticos. El componente determinista se puede escribir como una función lineal de los parámetros estructurales .

${\displaystyle {\begin{alignedat}{5}U_{nit}\left(x_{nt},\varepsilon _{nit}\right)&&\;=\;&&u_{nit}&&\;+\;&&\varepsilon _{nit}\\&&\;=\;&&X_{nt}\alpha _{i}&&\;+\;&&\varepsilon _{nit}\end{alignedat}}}$

2. El problema de optimización se puede escribir como una ecuación de Bellman.

Definir mediante la función de valor ex ante para el individuo en el período justo antes de que se revele: ${\displaystyle V_{nt}(x_{nt})}$ ${\displaystyle n}$ ${\displaystyle t}$ ${\displaystyle \varepsilon _{nt}}$

${\displaystyle V_{nt}(x_{nt})=\mathbb {E} \max _{i}\left\{u_{nit}(x_{nt})+\varepsilon _{nit}+\beta \int _{x_{t+1}}V_{nt+1}(x_{nt+1})\,dF\left(x_{t+1}\mid x_{t}\right)\right\}}$

donde el operador de expectativa está sobre 's y donde representa la distribución de probabilidad condicional sobre . La expectativa sobre las transiciones de estado se logra tomando la integral sobre esta distribución de probabilidad. ${\displaystyle \mathbb {E} }$ ${\displaystyle \varepsilon }$ ${\displaystyle dF\left(x_{t+1}\mid x_{t}\right)}$ ${\displaystyle x_{t+1}}$ ${\displaystyle x_{t}}$

Es posible descomponerse en componentes deterministas y estocásticos: ${\displaystyle V_{nt}(x_{nt})}$

${\displaystyle V_{nt}(x_{nt})=\mathbb {E} \max _{i}\left\{v_{nit}(x_{nt})+\varepsilon _{nit}\right\}}$

donde es el valor de elegir la alternativa en el momento y se escribe como ${\displaystyle v_{nit}}$ ${\displaystyle i}$ ${\displaystyle t}$

${\displaystyle v_{nit}(x_{nt})=u_{nit}\left(x_{nt}\right)+\beta \int _{x_{t+1}}\mathbb {E} \max _{j}\left\{v_{njt+1}(x_{nt+1})+\varepsilon _{njt+1}\right\}\,dF(x_{t+1}\mid x_{t})}$

donde ahora la expectativa se apodera del . ${\displaystyle \mathbb {E} }$ ${\displaystyle \varepsilon _{njt+1}}$

3. El problema de optimización sigue un proceso de decisión de Markov.

Los estados siguen una cadena de Markov . Es decir, el logro del estado depende sólo del estado y no de ningún estado anterior. ${\displaystyle x_{t}}$ ${\displaystyle x_{t}}$ ${\displaystyle x_{t-1}}$ ${\displaystyle x_{t-2}}$

Funciones de valor condicional y probabilidades de elección.

La función de valor de la sección anterior se denomina función de valor condicional , porque es la función de valor condicional a la elección de una alternativa en el período . Escribir la función de valor condicional de esta manera es útil para construir fórmulas para las probabilidades de elección. ${\displaystyle i}$ ${\displaystyle t}$

Para escribir las probabilidades de elección, el investigador debe hacer una suposición sobre la distribución de las 's. Al igual que en los modelos estáticos de elección discreta, se puede suponer que esta distribución es un valor extremo iid de tipo I , un valor extremo generalizado , un probit multinomial o un logit mixto . ${\displaystyle \varepsilon _{nit}}$

Para el caso en el que sea logit multinomial (es decir, iid extraído de la distribución de valores extremos de Tipo I ), las fórmulas para las probabilidades de elección serían: ${\displaystyle \varepsilon _{nit}}$

${\displaystyle P_{nit}={\frac {\exp(v_{nit})}{\sum _{j=1}^{J}\exp(v_{njt})}}}$

Estimacion

La estimación de modelos dinámicos de elección discreta es particularmente desafiante, debido al hecho de que el investigador debe resolver el problema de recursividad hacia atrás para cada estimación de los parámetros estructurales.

Los métodos más comunes utilizados para estimar los parámetros estructurales son la estimación de máxima verosimilitud y el método de momentos simulados .

Además de los métodos de estimación, también existen métodos de solución. Se pueden emplear diferentes métodos de solución debido a la complejidad del problema. Estos se pueden dividir en métodos de solución completa y métodos sin solución .

Métodos de solución completa

El ejemplo más destacado de un método de solución completa es el algoritmo de punto fijo anidado (NFXP) desarrollado por John Rust en 1987. ^[2] El algoritmo NFXP se describe con gran detalle en su manual de documentación. ^[3]

Un trabajo reciente de Che-Lin Su y Kenneth Judd en 2012 ^[4] implementa otro enfoque (descartado como intratable por Rust en 1987), que utiliza optimización restringida de la función de verosimilitud, un caso especial de programación matemática con restricciones de equilibrio (MPEC). . Específicamente, la función de verosimilitud se maximiza sujeta a las restricciones impuestas por el modelo y se expresa en términos de variables adicionales que describen la estructura del modelo. Este enfoque requiere un potente software de optimización como Artelys Knitro debido a la alta dimensionalidad del problema de optimización. Una vez resuelto se encuentran tanto los parámetros estructurales que maximizan la verosimilitud como la solución del modelo.

En el artículo posterior ^[5], Rust y sus coautores muestran que la ventaja de velocidad de MPEC en comparación con NFXP no es significativa. Sin embargo, debido a que los cálculos requeridos por MPEC no dependen de la estructura del modelo, su implementación requiere mucha menos mano de obra.

A pesar de los numerosos contendientes, el estimador de máxima verosimilitud NFXP sigue siendo el método de estimación líder para los modelos de decisión de Markov. ^[5]

Métodos sin solución

Una alternativa a los métodos de solución completa son los métodos sin solución. En este caso, el investigador puede estimar los parámetros estructurales sin tener que resolver completamente el problema de recursividad hacia atrás para cada parámetro estimado. Los métodos sin solución suelen ser más rápidos y requieren más suposiciones, pero las suposiciones adicionales son en muchos casos realistas.

El principal método sin solución son las probabilidades de elección condicional, desarrolladas por V. Joseph Hotz y Robert A. Miller. ^[6]

Ejemplos

Modelo de sustitución del motor de autobús.

El modelo de sustitución de motores de autobús desarrollado en el artículo fundamental Rust (1987) es uno de los primeros modelos estocásticos dinámicos de elección discreta estimados utilizando datos reales, y sigue sirviendo como ejemplo clásico de problemas de este tipo. ^[4]

El modelo es un problema dinámico estocástico de parada óptima regenerativo simple al que se enfrenta el responsable de la toma de decisiones, Harold Zurcher, superintendente de mantenimiento de Madison Metropolitan Bus Company en Madison, Wisconsin . Para cada autobús en funcionamiento en cada período, Harold Zurcher tiene que decidir si reemplazar el motor y asumir el costo de reemplazo asociado, o continuar operando el autobús a un costo de operación cada vez mayor, que incluye el seguro y el costo de la pérdida de pasajeros en el caso de una avería.

Denotemos la lectura del odómetro (kilometraje) en el período , el costo de operación del autobús que depende del vector de parámetros , el costo de reemplazar el motor y el factor de descuento . Entonces la utilidad por período está dada por ${\displaystyle x_{t}}$ ${\displaystyle t}$ ${\displaystyle c(x_{t},\theta )}$ ${\displaystyle \theta }$ ${\displaystyle RC}$ ${\displaystyle \beta }$

${\displaystyle U(x_{t},\xi _{t},d,\theta )={\begin{cases}-c(x_{t},\theta )+\xi _{t,{\text{keep}}},&\\-RC-c(0,\theta )+\xi _{t,{\text{replace}}},&\end{cases}}=u(x_{t},d,\theta )+{\begin{cases}\xi _{t,{\text{keep}}},&{\textrm {if}}\;\;d={\text{keep}},\\\xi _{t,{\text{replace}}},&{\textrm {if}}\;\;d={\text{replace}},\end{cases}}}$

donde denota la decisión (mantener o reemplazar) y representa el componente de la utilidad observado por Harold Zurcher, pero no por John Rust. Se supone que y son independientes y están distribuidos idénticamente con la distribución de valores extremos Tipo I , y que son independientes de condicional . ${\displaystyle d}$ ${\displaystyle \xi _{t,{\text{keep}}}}$ ${\displaystyle \xi _{t,{\text{replace}}}}$ ${\displaystyle \xi _{t,{\text{keep}}}}$ ${\displaystyle \xi _{t,{\text{replace}}}}$ ${\displaystyle \xi _{t,\bullet }}$ ${\displaystyle \xi _{t-1,\bullet }}$ ${\displaystyle x_{t}}$

Entonces las decisiones óptimas satisfacen la ecuación de Bellman

${\displaystyle V(x,\xi ,\theta )=\max _{d={\text{keep}},{\text{replace}}}\left\{u(x,d,\theta )+\xi _{d}+\iint V(x',\xi ',\theta )q(d\xi '\mid x',\theta )p(dx'\mid x,d,\theta )\right\}}$

donde y son respectivamente densidades de transición para las variables de estados observados y no observados. Los índices de tiempo en la ecuación de Bellman se eliminan porque el modelo se formula en configuraciones de horizonte infinito, la política óptima desconocida es estacionaria , es decir, independiente del tiempo. ${\displaystyle p(dx'\mid x,d,\theta )}$ ${\displaystyle q(d\xi '\mid x',\theta )}$

Dado el supuesto distributivo de , la probabilidad de una elección particular está dada por ${\displaystyle q(d\xi '\mid x',\theta )}$ ${\displaystyle d}$

${\displaystyle P(d\mid x,\theta )={\frac {\exp\{u(x,d,\theta )+\beta EV(x,d,\theta )\}}{\sum _{d'\in D(x)}\exp\{u(x,d',\theta )+\beta EV(x,d',\theta )\}}}}$

¿Dónde hay una solución única a la ecuación funcional? ${\displaystyle EV(x,d,\theta )}$

${\displaystyle EV(x,d,\theta )=\int \left[\log \left(\sum _{d={\text{keep}},{\text{replace}}}\exp\{u(x,d',\theta )+\beta EV(x',d',\theta )\}\right)\right]p(x'\mid x,d,\theta ).}$

Se puede demostrar que la última ecuación funcional define un mapeo de contracción si el espacio de estados está acotado, por lo que habrá una solución única para any y, además, se cumple el teorema de la función implícita , por lo que también es una función suave de for each . ${\displaystyle x_{t}}$ ${\displaystyle EV(x,d,\theta )}$ ${\displaystyle \theta }$ ${\displaystyle EV(x,d,\theta )}$ ${\displaystyle \theta }$ ${\displaystyle (x,d)}$

Estimación con algoritmo de punto fijo anidado

El mapeo de contracción anterior se puede resolver numéricamente para el punto fijo que produce probabilidades de elección para cualquier valor dado de . La función de probabilidad logarítmica puede entonces formularse como ${\displaystyle EV(x,d,\theta )}$ ${\displaystyle P(d\mid x,\theta )}$ ${\displaystyle \theta }$

${\displaystyle L(\theta )=\sum _{i=1}^{N}\sum _{t=1}^{T_{i}}\log(P(d_{it}\mid x_{it},\theta ))+\log(p(x_{it}\mid x_{it-1},d_{it-1},\theta )),}$

donde y representan datos sobre variables de estado (lecturas del odómetro) y decisión (mantener o reemplazar) para autobuses individuales, cada uno en períodos. ${\displaystyle x_{i,t}}$ ${\displaystyle d_{i,t}}$ ${\displaystyle i=1,\dots ,N}$ ${\displaystyle t=1,\dots ,T_{i}}$

El algoritmo conjunto para resolver el problema de punto fijo dado un valor particular de parámetro y maximizar la probabilidad logarítmica con respecto a fue nombrado por John Rust algoritmo de punto fijo anidado (NFXP). ${\displaystyle \theta }$ ${\displaystyle L(\theta )}$ ${\displaystyle \theta }$

La implementación de Rust del algoritmo de punto fijo anidado está altamente optimizada para este problema, utilizando iteraciones de Newton-Kantorovich para calcular y métodos cuasi-Newton , como el algoritmo de Berndt-Hall-Hall-Hausman , para maximizar la probabilidad. ^[5] ${\displaystyle P(d\mid x,\theta )}$

Estimación con MPEC

En el algoritmo de punto fijo anidado, se recalcula para cada estimación de los parámetros θ . En cambio, el método MPEC resuelve el problema de optimización restringida : ^[4] ${\displaystyle P(d\mid x,\theta )}$

${\displaystyle {\begin{aligned}\max &\qquad L(\theta )&\\{\text{subject to}}&\qquad EV(x,d,\theta )=\int \left[\log \left(\sum _{d={\text{keep}},{\text{replace}}}\exp\{u(x,d',\theta )+\beta EV(x',d',\theta )\}\right)\right]p(x'\mid x,d,\theta )\end{aligned}}}$

Este método es más rápido de calcular que las implementaciones no optimizadas del algoritmo de punto fijo anidado y tarda aproximadamente el mismo tiempo que las implementaciones altamente optimizadas. ^[5]

Estimación con métodos sin solución.

En este contexto se puede aplicar el método de probabilidades de elección condicional de Hotz y Miller. Hotz, Miller, Sanders y Smith propusieron una versión computacionalmente más simple del método y la probaron en un estudio del problema de reemplazo del motor de un autobús. El método funciona estimando las probabilidades de elección condicional mediante simulación y luego descartando las diferencias implícitas en las funciones de valor . ^{[7] [8]}

Ver también

• Aprendizaje por refuerzo inverso

Referencias

1. Keane y Wolpin 2009.
2. Óxido 1987.
3. Óxido, John (2008). "Manual de documentación del algoritmo de punto fijo anidado". Inédito .
4. Su, Che-Lin; Judd, Kenneth L. (2012). "Enfoques de optimización restringida para la estimación de modelos estructurales". Econométrica . 80 (5): 2213–2230. doi :10.3982/ECTA7925. hdl : 10419/59626 . ISSN  1468-0262.
5. Iskhakov, Fedor; Lee, Jinhyuk; Óxido, John; Schjerning, Bertel; Seo, Kyoungwon (2016). "Comentario sobre" enfoques de optimización restringida para la estimación de modelos estructurales"". Econométrica . 84 (1): 365–370. doi :10.3982/ECTA12605. ISSN  0012-9682.
6. Hotz, V. José; Molinero, Robert A. (1993). "Probabilidades de elección condicional y estimación de modelos dinámicos". Revista de Estudios Económicos . 60 (3): 497–529. doi :10.2307/2298122. JSTOR  2298122.
7. Aguirregabiria y Mira 2010.
8. Hotz, VJ; Molinero, RA; Lijadoras, S.; Smith, J. (1 de abril de 1994). "Un estimador de simulación para modelos dinámicos de elección discreta". La Revista de Estudios Económicos . 61 (2). Prensa de la Universidad de Oxford (OUP): 265–289. doi :10.2307/2297981. ISSN  0034-6527. JSTOR  2297981. S2CID  55199895.

Otras lecturas

• Aguirregabiria, Víctor; Mira, Pedro (2010). "Modelos estructurales dinámicos de elección discreta: una encuesta" (PDF) . Revista de Econometría . 156 (1). Elsevier BV: 38–67. doi :10.1016/j.jeconom.2009.09.007. ISSN  0304-4076.
• Keane, Michael P .; Wolpin, Kenneth I. (2009). "Aplicaciones empíricas de modelos de programación dinámica de elección discreta". Revisión de la dinámica económica . 12 (1): 1–22. doi :10.1016/j.red.2008.07.001.
• Óxido, John (1987). "Reemplazo óptimo de motores de autobuses GMC: un modelo empírico de Harold Zurcher". Econométrica . 55 (5): 999–1033. doi :10.2307/1911259. ISSN  0012-9682. JSTOR  1911259.
• Óxido, John (1994). "Capítulo 51 Estimación estructural de procesos de decisión de Markov". Manual de econometría . vol. 4. Elsevier. págs. 3081–3143. doi :10.1016/s1573-4412(05)80020-0. ISBN 978-0-444-88766-5. ISSN  1573-4412.