Espacio de parámetros

El espacio de parámetros es el espacio de posibles valores de parámetros que definen un modelo matemático particular . A veces también se le llama espacio de peso y, a menudo, es un subconjunto del espacio euclidiano de dimensión finita .

En estadística , los espacios de parámetros son particularmente útiles para describir familias paramétricas de distribuciones de probabilidad . También forman la base para la estimación de parámetros . En el caso de estimadores extremos para modelos paramétricos , una determinada función objetivo se maximiza o minimiza en el espacio de parámetros. ^[1] Los teoremas de existencia y consistencia de tales estimadores requieren algunas suposiciones sobre la topología del espacio de parámetros. Por ejemplo, la compacidad del espacio de parámetros, junto con la continuidad de la función objetivo, son suficientes para la existencia de un estimador extremo. ^[1]

En Deep Learning , los parámetros de una red profunda se denominan pesos. Debido a la estructura en capas de las redes profundas, su espacio de peso tiene una estructura y geometría complejas. ^{[2] [3]} Por ejemplo, en perceptrones multicapa , la misma función se conserva al permutar los nodos de una capa oculta, lo que equivale a permutar matrices de peso de la red. Esta propiedad se conoce como equivarianza a la permutación de espacios de peso profundos. ^[2]

A veces, los parámetros se analizan para ver cómo afectan su modelo estadístico. En ese contexto, pueden verse como entradas de una función , en cuyo caso el término técnico para el espacio de parámetros es dominio de una función . Los rangos de valores de los parámetros pueden formar los ejes de un gráfico , y los resultados particulares del modelo pueden representarse frente a estos ejes para ilustrar cómo diferentes regiones del espacio de parámetros producen diferentes tipos de comportamiento en el modelo.

Ejemplos

• Un modelo simple de deterioro de la salud después de desarrollar cáncer de pulmón podría incluir los dos parámetros género ^[4] y fumador/no fumador, en cuyo caso el espacio de parámetros es el siguiente conjunto de cuatro posibilidades: {(Hombre, Fumador), (Hombre, No fumadora), (Mujer, Fumadora), (Mujer, No fumadora)} .

• El mapa logístico tiene un parámetro, r , que puede tomar cualquier valor positivo. Por tanto, el espacio de parámetros son números reales positivos . ${\displaystyle x_{n+1}=rx_{n}(1-x_{n})}$

Para algunos valores de r , esta función termina recorriendo algunos valores o queda fija en un valor. Estos valores a largo plazo se pueden representar frente a r en un diagrama de bifurcación para mostrar los diferentes comportamientos de la función para diferentes valores de r .

• En un modelo de onda sinusoidal los parámetros son amplitud A > 0, frecuencia angular ω > 0 y fase φ ∈ S ¹ . Por tanto, el espacio de parámetros es ${\displaystyle y(t)=A\cdot \sin(\omega t+\phi ),}$ ${\displaystyle R^{+}\times R^{+}\times S^{1}.}$

• En dinámica compleja , el espacio de parámetros es el plano complejo C = { z = x + y i : x, y ∈ R }, donde i ² = −1.

El famoso conjunto de Mandelbrot es un subconjunto de este espacio de parámetros, que consta de puntos en el plano complejo que dan un conjunto acotado de números cuando una función iterada particular se aplica repetidamente desde ese punto de partida. Los puntos restantes, que no están en el conjunto, dan un conjunto ilimitado de números (tienden al infinito) cuando esta función se aplica repetidamente desde ese punto de partida.

Historia

El espacio de parámetros contribuyó a la liberación de la geometría de los confines del espacio tridimensional . Por ejemplo, el espacio de parámetros de las esferas en tres dimensiones tiene cuatro dimensiones: tres para el centro de la esfera y otra para el radio. Según Dirk Struik , fue el libro Neue Geometrie des Raumes (1849) de Julius Plücker el que mostró

...la geometría no tiene por qué basarse únicamente en puntos como elementos básicos. Líneas, planos, círculos y esferas se pueden utilizar como elementos ( Raumelemente ) en los que se puede basar una geometría. Esta fértil concepción arrojó nueva luz sobre la geometría tanto sintética como algebraica y creó nuevas formas de dualidad. El número de dimensiones de una forma particular de geometría ahora podría ser cualquier número positivo, dependiendo del número de parámetros necesarios para definir el "elemento". ^{[5] : 165}

La necesidad de dimensiones mayores se ilustra con la geometría lineal de Plücker . Struik escribe

La geometría [de Plücker] de líneas en tres espacios podría considerarse como una geometría de cuatro dimensiones o, como ha subrayado Klein , como la geometría de una cuádrica de cuatro dimensiones en un espacio de cinco dimensiones. ^{[5] : 168}

Así, la cuádrica de Klein describe los parámetros de las líneas en el espacio.

Ver también

• Espacio muestral
• Espacio de configuración
• Análisis de los datos
• Reducción de dimensionalidad
• Hiperparámetro (aprendizaje automático)
• Selección de modelo
• Ecuación paramétrica
• Superficie paramétrica
• Espacio de fase

Referencias

1. Hayashi, Fumio (2000). Econometría. Prensa de la Universidad de Princeton. pag. 446.ISBN​ 0-691-01018-8.
2. Navón, Aviv; Shamsian, Aviv; Achituve, Idán; Fetaya, Ethan; Chechik, Gal; Marón, Hageo (3 de julio de 2023). "Arquitecturas equivalentes para el aprendizaje en espacios de peso profundo". Actas de la 40ª Conferencia Internacional sobre Aprendizaje Automático . PMLR: 25790–25816.
3. Hecht-Nielsen, Robert (1 de enero de 1990), Eckmiller, Rolf (ed.), "SOBRE LA ESTRUCTURA ALGEBRAICA DE LOS ESPACIOS DE PESO DE LA RED FEEDFORWARD", Computadoras neuronales avanzadas , Amsterdam: Holanda Septentrional, págs. ISBN 978-0-444-88400-8, consultado el 1 de diciembre de 2023
4. Gasperino, J.; Rom, WN (2004). "Género y cáncer de pulmón". Cáncer de pulmón clínico . 5 (6): 353–359. doi :10.3816/CLC.2004.n.013. PMID  15217534.
5. Dirk Struik (1967) Una historia concisa de las matemáticas , tercera edición, Dover Books