Cálculo matricial

En matemáticas , el cálculo matricial es una notación especializada para realizar cálculos multivariables , especialmente sobre espacios de matrices . Reúne las distintas derivadas parciales de una función única con respecto a muchas variables , y/o de una función multivariable con respecto a una única variable, en vectores y matrices que pueden tratarse como entidades individuales. Esto simplifica enormemente operaciones como encontrar el máximo o mínimo de una función multivariable y resolver sistemas de ecuaciones diferenciales . La notación utilizada aquí se utiliza comúnmente en estadística e ingeniería , mientras que la notación de índice tensorial se prefiere en física .

Dos convenciones de notación en competencia dividen el campo del cálculo matricial en dos grupos separados. Los dos grupos se pueden distinguir por si escriben la derivada de un escalar con respecto a un vector como un vector columna o un vector fila . Ambas convenciones son posibles incluso cuando se hace la suposición común de que los vectores deben tratarse como vectores columna cuando se combinan con matrices (en lugar de vectores fila). Una sola convención puede ser algo estándar en todo un solo campo que usa comúnmente el cálculo matricial (por ejemplo, econometría , estadística, teoría de la estimación y aprendizaje automático ). Sin embargo, incluso dentro de un campo dado se pueden encontrar diferentes autores que usan convenciones en competencia. Los autores de ambos grupos a menudo escriben como si sus convenciones específicas fueran estándar. Se pueden producir errores graves al combinar resultados de diferentes autores sin verificar cuidadosamente que se hayan utilizado notaciones compatibles. Las definiciones de estas dos convenciones y las comparaciones entre ellas se recopilan en la sección de convenciones de diseño.

Alcance

El cálculo matricial se refiere a una serie de notaciones diferentes que utilizan matrices y vectores para recopilar la derivada de cada componente de la variable dependiente con respecto a cada componente de la variable independiente. En general, la variable independiente puede ser un escalar, un vector o una matriz, mientras que la variable dependiente también puede ser cualquiera de estos. Cada situación diferente dará lugar a un conjunto diferente de reglas, o a un cálculo independiente , utilizando el sentido más amplio del término. La notación matricial sirve como una forma conveniente de recopilar las muchas derivadas de forma organizada.

Como primer ejemplo, considere el gradiente del cálculo vectorial . Para una función escalar de tres variables independientes, , el gradiente viene dado por la ecuación vectorial $f(x_{1},x_{2},x_{3})$

\nabla f={\frac {\partial f}{\partial x_{1}}}{\hat {x}}_{1}+{\frac {\partial f}{\partial x_{2}}}{\hat {x}}_{2}+{\frac {\partial f}{\partial x_{3}}}{\hat {x}}_{3},

donde representa un vector unitario en la dirección para . Este tipo de derivada generalizada puede verse como la derivada de un escalar, f , con respecto a un vector, , y su resultado puede recopilarse fácilmente en forma vectorial. ${\hat {x}}_{i}$ $x_{i}$ $1\leq i\leq 3$ $\mathbf {x}$

\nabla f=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\mathsf {T}}={\begin{bmatrix}{\dfrac {\partial f}{\partial x_{1}}}&{\dfrac {\partial f}{\partial x_{2}}}&{\dfrac {\partial f}{\partial x_{3}}}\\\end{bmatrix}}^{\textsf {T}}.

Ejemplos más complicados incluyen la derivada de una función escalar con respecto a una matriz, conocida como matriz de gradiente, que recoge la derivada con respecto a cada elemento de la matriz en la posición correspondiente en la matriz resultante. En ese caso, el escalar debe ser una función de cada una de las variables independientes en la matriz. Como otro ejemplo, si tenemos un vector $n$ de variables dependientes, o funciones, de $m$ variables independientes, podríamos considerar la derivada del vector dependiente con respecto al vector independiente. El resultado podría recogerse en una matriz $m \times n$ que consista en todas las posibles combinaciones de derivadas.

Hay un total de nueve posibilidades utilizando escalares, vectores y matrices. Observe que, al considerar un número mayor de componentes en cada una de las variables independientes y dependientes, podemos quedarnos con un número muy grande de posibilidades. Los seis tipos de derivadas que se pueden organizar de forma más ordenada en forma de matriz se recogen en la siguiente tabla. ^[1]

Aquí, hemos utilizado el término "matriz" en su sentido más general, reconociendo que los vectores son simplemente matrices con una columna (y los escalares son simplemente vectores con una fila). Además, hemos utilizado letras en negrita para indicar vectores y letras mayúsculas en negrita para matrices. Esta notación se utiliza en todo el texto.

Observe que también podríamos hablar de la derivada de un vector con respecto a una matriz o a cualquiera de las otras celdas vacías de nuestra tabla. Sin embargo, estas derivadas se organizan de forma más natural en un tensor de rango superior a 2, de modo que no encajan perfectamente en una matriz. En las tres secciones siguientes definiremos cada una de estas derivadas y las relacionaremos con otras ramas de las matemáticas. Consulte la sección de convenciones de diseño para obtener una tabla más detallada.

Relación con otros derivados

La derivada matricial es una notación conveniente para llevar un registro de las derivadas parciales para realizar cálculos. La derivada de Fréchet es la forma estándar en el contexto del análisis funcional de tomar derivadas con respecto a vectores. En el caso de que una función matricial de una matriz sea diferenciable mediante Fréchet, las dos derivadas concordarán hasta la traducción de notaciones. Como es el caso en general para las derivadas parciales , algunas fórmulas pueden extenderse bajo condiciones analíticas más débiles que la existencia de la derivada como aplicación lineal aproximada.

Usos

El cálculo matricial se utiliza para derivar estimadores estocásticos óptimos, que a menudo implican el uso de multiplicadores de Lagrange . Esto incluye la derivación de:

Notación

Las derivadas vectoriales y matriciales presentadas en las secciones siguientes aprovechan al máximo la notación matricial , utilizando una única variable para representar un gran número de variables. En lo que sigue, distinguiremos escalares, vectores y matrices por su tipografía. Dejaremos que $M (n, m)$ denote el espacio de matrices reales $n \times m$ con $n$ filas y $m$ columnas. Dichas matrices se denotarán utilizando letras mayúsculas en negrita: $A$ , $X$ , $Y$ , etc. Un elemento de $M (n,1)$ , es decir, un vector columna , se denota con una letra minúscula en negrita: $a$ , $x$ , $y$ , etc. Un elemento de $M (1,1) ,$ es un escalar, denotado con tipografía cursiva minúscula: $a$ , $t$ , $x$ , etc. $X T$ denota transpuesta de matriz , $tr(X)$ es la traza , y $det(X)$ o $| X |$ es el determinante . Se supone que todas las funciones son de clase de diferenciabilidad $C 1$ a menos que se indique lo contrario. Generalmente se utilizan letras de la primera mitad del alfabeto (a, b, c, ...) para denotar constantes y de la segunda mitad (t, x, y, ...) para denotar variables.

NOTA : Como se mencionó anteriormente, existen notaciones que compiten entre sí para representar sistemas de derivadas parciales en vectores y matrices, y no parece que esté surgiendo ningún estándar aún. Las dos secciones introductorias siguientes utilizan la convención de representación del numerador simplemente por conveniencia, para evitar complicar demasiado la discusión. La sección posterior analiza las convenciones de representación con más detalle. Es importante tener en cuenta lo siguiente:

A pesar del uso de los términos "disposición del numerador" y "disposición del denominador", en realidad hay más de dos opciones de notación posibles involucradas. La razón es que la elección de numerador vs. denominador (o en algunas situaciones, numerador vs. mixto) se puede hacer de forma independiente para derivadas escalar por vector, vector por escalar, vector por vector y escalar por matriz, y varios autores mezclan y combinan sus opciones de disposición de diversas maneras.
La elección del diseño del numerador en las secciones introductorias que aparecen a continuación no implica que sea la opción "correcta" o "superior". Los distintos tipos de diseño tienen ventajas y desventajas. Se pueden cometer errores graves si se combinan fórmulas escritas en diseños diferentes sin tener cuidado, y la conversión de un diseño a otro requiere cuidado para evitar errores. Como resultado, cuando se trabaja con fórmulas existentes, la mejor política es probablemente identificar el diseño que se utiliza y mantener la coherencia con él, en lugar de intentar utilizar el mismo diseño en todas las situaciones.

Alternativas

La notación de índice tensorial con su convención de suma de Einstein es muy similar al cálculo matricial, excepto que uno escribe solo un componente a la vez. Tiene la ventaja de que uno puede manipular fácilmente tensores de rango arbitrario alto, mientras que los tensores de rango superior a dos son bastante difíciles de manejar con la notación matricial. Todo el trabajo aquí se puede hacer en esta notación sin el uso de la notación matricial de una sola variable. Sin embargo, muchos problemas en la teoría de la estimación y otras áreas de las matemáticas aplicadas darían como resultado demasiados índices para realizar un seguimiento adecuado, lo que apunta a favor del cálculo matricial en esas áreas. Además, la notación de Einstein puede ser muy útil para demostrar las identidades presentadas aquí (ver la sección sobre diferenciación ) como una alternativa a la notación de elementos típica, que puede volverse engorrosa cuando se llevan a cabo las sumas explícitas. Tenga en cuenta que una matriz puede considerarse un tensor de rango dos.

Derivadas con vectores

Debido a que los vectores son matrices con una sola columna, las derivadas matriciales más simples son las derivadas vectoriales.

Las notaciones desarrolladas aquí pueden dar cabida a las operaciones habituales del cálculo vectorial identificando el espacio $M (n,1)$ de $n$ -vectores con el espacio euclidiano $R n$ , y el escalar $M (1,1)$ se identifica con $R$ . El concepto correspondiente del cálculo vectorial se indica al final de cada subsección.

NOTA : La discusión en esta sección asume la convención de diseño del numerador con fines pedagógicos. Algunos autores utilizan convenciones diferentes. La sección sobre convenciones de diseño analiza este tema con mayor detalle. Las identidades que se dan más adelante se presentan en formas que se pueden usar junto con todas las convenciones de diseño comunes.

Vector por escalar

La derivada de un vector , por un escalar $x$ se escribe (en notación de disposición del numerador) como $\mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}$

{\frac {d\mathbf {y} }{dx}}={\begin{bmatrix}{\frac {dy_{1}}{dx}}\\{\frac {dy_{2}}{dx}}\\\vdots \\{\frac {dy_{m}}{dx}}\\\end{bmatrix}}.

En cálculo vectorial, la derivada de un vector $y$ con respecto a un escalar $x$ se conoce como el vector tangente del vector $y$ , . Observe aquí que $y$ $:$ $R$ $1$ $\to$ $R$ $m$ . ${\frac {\partial \mathbf {y} }{\partial x}}$

Ejemplos sencillos de esto incluyen el vector de velocidad en el espacio euclidiano , que es el vector tangente del vector de posición (considerado como una función del tiempo). Además, la aceleración es el vector tangente de la velocidad.

Escalar por vector

La derivada de un escalar $y$ por un vector , se escribe (en notación de disposición del numerador) como $\mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}$

{\frac {\partial y}{\partial \mathbf {x} }}={\begin{bmatrix}{\dfrac {\partial y}{\partial x_{1}}}&{\dfrac {\partial y}{\partial x_{2}}}&\cdots &{\dfrac {\partial y}{\partial x_{n}}}\end{bmatrix}}.

En cálculo vectorial , el gradiente de un campo escalar $f : R n \to R$ (cuyas coordenadas independientes son los componentes de $x$ ) es la transpuesta de la derivada de un escalar por un vector.

\nabla f={\begin{bmatrix}{\frac {\partial f}{\partial x_{1}}}\\\vdots \\{\frac {\partial f}{\partial x_{n}}}\end{bmatrix}}=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\mathsf {T}}

Por ejemplo, en física, el campo eléctrico es el gradiente vectorial negativo del potencial eléctrico .

La derivada direccional de una función escalar $f (x)$ del vector espacial $x$ en la dirección del vector unitario $u$ (representado en este caso como un vector columna) se define utilizando el gradiente de la siguiente manera.

\nabla _{\mathbf {u} }{f}(\mathbf {x} )=\nabla f(\mathbf {x} )\cdot \mathbf {u}

Usando la notación que acabamos de definir para la derivada de un escalar con respecto a un vector, podemos reescribir la derivada direccional como Este tipo de notación será útil al probar reglas de producto y reglas de cadena que resultan similares a lo que estamos familiarizados para la derivada escalar . $\nabla _{\mathbf {u} }f={\frac {\partial f}{\partial \mathbf {x} }}\mathbf {u} .$

Vector por vector

Cada uno de los dos casos anteriores puede considerarse como una aplicación de la derivada de un vector respecto de un vector, utilizando un vector de tamaño uno de manera apropiada. De manera similar, encontraremos que las derivadas que involucran matrices se reducirán a derivadas que involucran vectores de manera correspondiente.

La derivada de una función vectorial (un vector cuyos componentes son funciones) , con respecto a un vector de entrada, , se escribe (en notación de disposición del numerador) como $\mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}$ $\mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}$

{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.

En cálculo vectorial , la derivada de una función vectorial $y$ con respecto a un vector $x$ cuyos componentes representan un espacio se conoce como matriz de empuje hacia adelante (o diferencial) o matriz jacobiana .

El empuje hacia adelante a lo largo de una función vectorial $f$ con respecto al vector $v$ en $R n$ está dado por $d\mathbf {f} (\mathbf {v} )={\frac {\partial \mathbf {f} }{\partial \mathbf {v} }}d\mathbf {v} .$

Derivadas con matrices

Existen dos tipos de derivadas con matrices que se pueden organizar en una matriz del mismo tamaño: la derivada de una matriz por un escalar y la derivada de un escalar por una matriz. Estas pueden ser útiles en problemas de minimización que se encuentran en muchas áreas de las matemáticas aplicadas y han adoptado los nombres de matriz tangente y matriz de gradiente respectivamente, en honor a sus análogos para vectores.

Nota : La discusión en esta sección asume la convención de diseño del numerador con fines pedagógicos. Algunos autores utilizan convenciones diferentes. La sección sobre convenciones de diseño analiza este tema con mayor detalle. Las identidades que se dan más adelante se presentan en formas que se pueden usar junto con todas las convenciones de diseño comunes.

Matriz por escalar

La derivada de una función matricial $Y$ por un escalar $x$ se conoce como matriz tangente y se da (en notación de disposición del numerador) por

{\frac {\partial \mathbf {Y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}.

Escalar por matriz

La derivada de una función escalar $y$ , con respecto a una matriz $p \times q$ $X$ de variables independientes, se da (en notación de disposición de numerador) por

{\frac {\partial y}{\partial \mathbf {X} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.

Ejemplos importantes de funciones escalares de matrices incluyen la traza de una matriz y el determinante .

En analogía con el cálculo vectorial, esta derivada a menudo se escribe de la siguiente manera.

\nabla _{\mathbf {X} }y(\mathbf {X} )={\frac {\partial y(\mathbf {X} )}{\partial \mathbf {X} }}

También en analogía con el cálculo vectorial , la derivada direccional de un escalar $f (X)$ de una matriz $X$ en la dirección de la matriz $Y$ está dada por

\nabla _{\mathbf {Y} }f=\operatorname {tr} \left({\frac {\partial f}{\partial \mathbf {X} }}\mathbf {Y} \right).

Es la matriz de gradiente, en particular, la que encuentra muchos usos en problemas de minimización en la teoría de estimación , particularmente en la derivación del algoritmo de filtro de Kalman , que es de gran importancia en el campo.

Otras derivadas de matrices

Los tres tipos de derivadas que no se han considerado son las que implican vectores por matrices, matrices por vectores y matrices por matrices. Estas no se consideran tan ampliamente y no existe un consenso general sobre su notación.

Convenciones de diseño

En esta sección se analizan las similitudes y diferencias entre las convenciones de notación que se utilizan en los diversos campos que aprovechan el cálculo matricial. Aunque en general hay dos convenciones consistentes, algunos autores consideran conveniente mezclarlas en las formas que se analizan a continuación. Después de esta sección, se enumerarán las ecuaciones en ambas formas en competencia por separado.

La cuestión fundamental es que la derivada de un vector con respecto a un vector, es decir , , a menudo se escribe de dos maneras que compiten entre sí. Si el numerador $y$ es de tamaño $m$ y el denominador $x$ de tamaño n , entonces el resultado se puede presentar como una matriz $m$ $\times$ $n$ o una matriz $n$ $\times$ $m , es decir, los$ $m$ elementos de $y$ dispuestos en filas y los $n$ elementos de $x$ dispuestos en columnas, o viceversa. Esto conduce a las siguientes posibilidades: ${\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}$

Disposición del numerador , es decir, disposición según $y$ y $x T$ (es decir, al contrario de $x$ ). Esto a veces se conoce como la formulación jacobiana . Esto corresponde a la disposición $m \times n$ del ejemplo anterior, lo que significa que el número de fila de es igual al tamaño del numerador y el número de columna de es igual al tamaño de $x$ $T$ . ${\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}$ $\mathbf {y}$ ${\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}$
Disposición del denominador , es decir, disposición según $y T$ y $x$ (es decir, contrariamente a y ). Esto a veces se conoce como la formulación hessiana . Algunos autores denominan a esta disposición gradiente , a diferencia del jacobiano (disposición del numerador), que es su transpuesta. (Sin embargo, gradiente significa más comúnmente la derivada independientemente de la disposición). Esto corresponde a la disposición n×m en el ejemplo anterior, lo que significa que el número de filas de es igual al tamaño de $x$ (el denominador). ${\frac {\partial y}{\partial \mathbf {x} }},$ ${\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}$
Una tercera posibilidad que se observa a veces es insistir en escribir la derivada como (es decir, la derivada se toma con respecto a la transpuesta de $x$ ) y seguir la disposición del numerador. Esto permite afirmar que la matriz está dispuesta de acuerdo con el numerador y el denominador. En la práctica, esto produce los mismos resultados que la disposición del numerador. ${\frac {\partial \mathbf {y} }{\partial \mathbf {x} '}},$

Al manejar el gradiente y el caso opuesto tenemos los mismos problemas. Para ser coherentes, deberíamos hacer una de las siguientes cosas: ${\frac {\partial y}{\partial \mathbf {x} }}$ ${\frac {\partial \mathbf {y} }{\partial x}},$

Si elegimos el diseño del numerador, debemos diseñar el gradiente como un vector de fila y como un vector de columna. ${\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},$ ${\frac {\partial y}{\partial \mathbf {x} }}$ ${\frac {\partial \mathbf {y} }{\partial x}}$
Si elegimos el diseño del denominador, debemos diseñar el gradiente como un vector de columna y como un vector de fila. ${\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},$ ${\frac {\partial y}{\partial \mathbf {x} }}$ ${\frac {\partial \mathbf {y} }{\partial x}}$
En la tercera posibilidad anterior, escribimos y y usamos el diseño del numerador. ${\frac {\partial y}{\partial \mathbf {x} '}}$ ${\frac {\partial \mathbf {y} }{\partial x}},$

No todos los libros de texto y artículos de matemáticas son coherentes en este sentido. Es decir, a veces se utilizan diferentes convenciones en diferentes contextos dentro del mismo libro o artículo. Por ejemplo, algunos eligen la disposición del denominador para los gradientes (disponiéndolos como vectores de columna), pero la disposición del numerador para la derivada vector a vector. ${\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}.$

De manera similar, cuando se trata de derivadas escalar por matriz y derivadas matriz por escalar , entonces el diseño consistente del numerador establece de acuerdo con $Y$ y $X$ $T$ , mientras que el diseño consistente del denominador establece de acuerdo con $Y$ $T$ y $X$ . Sin embargo, en la práctica, seguir un diseño de denominador y establecer el resultado de acuerdo con $Y$ $T$ , rara vez se ve porque genera fórmulas feas que no corresponden a las fórmulas escalares. Como resultado, a menudo se pueden encontrar los siguientes diseños: ${\frac {\partial y}{\partial \mathbf {X} }}$ ${\frac {\partial \mathbf {Y} }{\partial x}},$ ${\frac {\partial \mathbf {Y} }{\partial x}},$

Disposición del numerador consistente , que se dispone según $Y$ y según $X$ $T.$ ${\frac {\partial \mathbf {Y} }{\partial x}}$ ${\frac {\partial y}{\partial \mathbf {X} }}$
Disposición mixta , que se dispone según $Y$ y según $X.$ ${\frac {\partial \mathbf {Y} }{\partial x}}$ ${\frac {\partial y}{\partial \mathbf {X} }}$
Utilice la notación con resultados iguales al diseño del numerador consistente. ${\frac {\partial y}{\partial \mathbf {X} '}},$

En las siguientes fórmulas, manejamos las cinco combinaciones posibles y por separado. También manejamos casos de derivadas escalar por escalar que involucran un vector o matriz intermedios. (Esto puede surgir, por ejemplo, si se define una curva paramétrica multidimensional en términos de una variable escalar, y luego se toma una derivada de una función escalar de la curva con respecto al escalar que parametriza la curva). Para cada una de las diversas combinaciones, damos resultados de disposición en numerador y disposición en denominador, excepto en los casos anteriores donde la disposición en denominador ocurre raramente. En los casos que involucran matrices donde tiene sentido, damos resultados de disposición en numerador y disposición mixta. Como se señaló anteriormente, los casos donde los denominadores de vector y matriz se escriben en notación transpuesta son equivalentes a la disposición en numerador con los denominadores escritos sin la transpuesta. ${\frac {\partial y}{\partial \mathbf {x} }},{\frac {\partial \mathbf {y} }{\partial x}},{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},{\frac {\partial y}{\partial \mathbf {X} }}$ ${\frac {\partial \mathbf {Y} }{\partial x}}$

Tenga en cuenta que varios autores utilizan diferentes combinaciones de diseños de numerador y denominador para diferentes tipos de derivadas, y no hay garantía de que un autor utilice de manera consistente un diseño de numerador o denominador para todos los tipos. Compare las fórmulas a continuación con las citadas en la fuente para determinar el diseño utilizado para ese tipo particular de derivada, pero tenga cuidado de no asumir que las derivadas de otros tipos necesariamente siguen el mismo tipo de diseño.

Al tomar derivadas con un denominador agregado (vectorial o matricial) para hallar un máximo o mínimo del agregado, se debe tener en cuenta que el uso de la disposición en numerador producirá resultados que se transponen con respecto al agregado. Por ejemplo, al intentar hallar la estimación de máxima verosimilitud de una distribución normal multivariante mediante cálculo matricial, si el dominio es un vector columna k × 1, entonces el resultado utilizando la disposición en numerador tendrá la forma de un vector fila 1 × k . Por lo tanto, los resultados se deben transponer al final o se debe utilizar la disposición en denominador (o disposición mixta).

Los resultados de las operaciones se transpondrán al cambiar entre la notación de diseño de numerador y la de diseño de denominador.

Notación de disposición de numerador

Usando la notación de disposición de numerador, tenemos: ^[1]

{\begin{aligned}{\frac {\partial y}{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}&{\frac {\partial y}{\partial x_{2}}}&\cdots &{\frac {\partial y}{\partial x_{n}}}\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}\\{\frac {\partial y_{2}}{\partial x}}\\\vdots \\{\frac {\partial y_{m}}{\partial x}}\\\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial y}{\partial \mathbf {X} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.\end{aligned}}

Las siguientes definiciones solo se proporcionan en notación de diseño de numerador:

{\begin{aligned}{\frac {\partial \mathbf {Y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}.\\d\mathbf {X} &={\begin{bmatrix}dx_{11}&dx_{12}&\cdots &dx_{1n}\\dx_{21}&dx_{22}&\cdots &dx_{2n}\\\vdots &\vdots &\ddots &\vdots \\dx_{m1}&dx_{m2}&\cdots &dx_{mn}\\\end{bmatrix}}.\end{aligned}}

Notación de disposición del denominador

Usando la notación de diseño de denominador, tenemos: ^[2]

{\begin{aligned}{\frac {\partial y}{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}\\{\frac {\partial y}{\partial x_{2}}}\\\vdots \\{\frac {\partial y}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}&{\frac {\partial y_{2}}{\partial x}}&\cdots &{\frac {\partial y_{m}}{\partial x}}\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{1}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{1}}}\\{\frac {\partial y_{1}}{\partial x_{2}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{1}}{\partial x_{n}}}&{\frac {\partial y_{2}}{\partial x_{n}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial y}{\partial \mathbf {X} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{12}}}&\cdots &{\frac {\partial y}{\partial x_{1q}}}\\{\frac {\partial y}{\partial x_{21}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{2q}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{p1}}}&{\frac {\partial y}{\partial x_{p2}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.\end{aligned}}

Identidades

Como se señaló anteriormente, en general, los resultados de las operaciones se transpondrán al cambiar entre la notación de diseño de numerador y la de diseño de denominador.

Para ayudar a entender todas las identidades siguientes, tenga en cuenta las reglas más importantes: la regla de la cadena , la regla del producto y la regla de la suma . La regla de la suma se aplica universalmente, y la regla del producto se aplica en la mayoría de los casos siguientes, siempre que se mantenga el orden de los productos matriciales, ya que los productos matriciales no son conmutativos. La regla de la cadena se aplica en algunos de los casos, pero desafortunadamente no se aplica en derivadas de matriz por escalar o derivadas de escalar por matriz (en el último caso, involucrando principalmente el operador de traza aplicado a matrices). En el último caso, la regla del producto tampoco se puede aplicar directamente, pero se puede hacer el equivalente con un poco más de trabajo utilizando las identidades diferenciales.

Las siguientes identidades adoptan las siguientes convenciones:

los escalares, $a$ , $b$ , $c$ , $d$ y $e$ son constantes con respecto a, y los escalares, $u$ y $v$ son funciones de uno de $x$ , $x$ o $X$ ;
los vectores, $a$ , $b$ , $c$ , $d$ y $e$ son constantes con respecto a, y los vectores, $u$ y $v$ son funciones de uno de $x$ , $x$ o $X$ ;
Las matrices A $,$ B $,$ C $,$ D $y$ E $son$ constantes con respecto a, y las matrices $U$ y $V$ son funciones de uno de $x$ , $x$ o $X.$

Identidades vector por vector

Esto se presenta primero porque todas las operaciones que se aplican a la diferenciación vector por vector se aplican directamente a la diferenciación vector por escalar o escalar por vector simplemente reduciendo el vector apropiado en el numerador o denominador a un escalar.

Identidades escalares por vectoriales

Las identidades fundamentales se colocan encima de la línea negra gruesa.

Identidades escalares por vector

NOTA : Las fórmulas que involucran las derivadas vector por vector y (cuyas salidas son matrices) suponen que las matrices están dispuestas de acuerdo con la disposición del vector, es decir, la disposición del numerador es una matriz cuando la disposición del numerador es un vector y viceversa; de lo contrario, transponga las derivadas vector por vector. ${\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}$ ${\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}$

Identidades escalares por matrices

Obsérvese que no existen equivalentes exactos de la regla del producto escalar y la regla de la cadena cuando se aplican a funciones de matrices con valores matriciales. Sin embargo, la regla del producto de este tipo sí se aplica a la forma diferencial (véase más abajo), y esta es la forma de derivar muchas de las identidades que aparecen a continuación que involucran la función traza , combinada con el hecho de que la función traza permite la transposición y la permutación cíclica, es decir:

{\begin{aligned}\operatorname {tr} (\mathbf {A} )&=\operatorname {tr} \left(\mathbf {A^{\top }} \right)\\\operatorname {tr} (\mathbf {ABCD} )&=\operatorname {tr} (\mathbf {BCDA} )=\operatorname {tr} (\mathbf {CDAB} )=\operatorname {tr} (\mathbf {DABC} )\end{aligned}}

Por ejemplo, para calcular ${\frac {\partial \operatorname {tr} (\mathbf {AXBX^{\top }C} )}{\partial \mathbf {X} }}:$ ${\begin{aligned}d\operatorname {tr} (\mathbf {AXBX^{\top }C} )&=d\operatorname {tr} \left(\mathbf {CAXBX^{\top }} \right)=\operatorname {tr} \left(d\left(\mathbf {CAXBX^{\top }} \right)\right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d(\mathbf {BX^{\top }} \right)+d\left(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d\left(\mathbf {BX^{\top }} \right)\right)+\operatorname {tr} \left(d(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} d\left(\mathbf {X^{\top }} \right)\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)+\operatorname {tr} (\mathbf {CA} \left(d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)^{\top }\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left((d\mathbf {X} )\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} \right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} (d\mathbf {X} )\right)+\operatorname {tr} \left(\mathbf {BX^{\top }} \mathbf {CA} (d\mathbf {X} )\right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }} \mathbf {CA} \right)d\mathbf {X} \right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }XB^{\top }} \right)^{\top }d\mathbf {X} \right)\end{aligned}}$

Por lo tanto,

{\frac {\partial \operatorname {tr} \left(\mathbf {AXBX^{\top }C} \right)}{\partial \mathbf {X} }}=\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }CA} .

(disposición del numerador)

{\frac {\partial \operatorname {tr} \left(\mathbf {AXBX^{\top }C} \right)}{\partial \mathbf {X} }}=\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }XB^{\top }} .

(disposición del denominador)

(Para el último paso, consulte la sección Conversión de forma diferencial a forma derivada).

Identidades de matriz por escalar

Identidades escalar por escalar

Con vectores involucrados

Con matrices involucradas

Identidades en forma diferencial

A menudo es más fácil trabajar en forma diferencial y luego convertir de nuevo a derivadas normales. Esto solo funciona bien si se utiliza la disposición del numerador. En estas reglas, $a$ es un escalar.

En la última fila, está el delta de Kronecker y es el conjunto de operadores de proyección ortogonal que proyectan sobre el $k$ -ésimo vector propio de $X$ . $Q$ es la matriz de vectores propios de , y son los valores propios. La función matricial se define en términos de la función escalar para matrices diagonalizables por donde con . $\delta _{ij}$ $(\mathbf {P} _{k})_{ij}=(\mathbf {Q} )_{ik}(\mathbf {Q} ^{-1})_{kj}$ $\mathbf {X} =\mathbf {Q} {\boldsymbol {\Lambda }}\mathbf {Q} ^{-1}$ $({\boldsymbol {\Lambda }})_{ii}=\lambda _{i}$ $f(\mathbf {X} )$ $f(x)$ ${\textstyle f(\mathbf {X} )=\sum _{i}f(\lambda _{i})\mathbf {P} _{i}}$ ${\textstyle \mathbf {X} =\sum _{i}\lambda _{i}\mathbf {P} _{i}}$ $\mathbf {P} _{i}\mathbf {P} _{j}=\delta _{ij}\mathbf {P} _{i}$

Para convertirla a la forma derivada normal, primero conviértala a una de las siguientes formas canónicas y luego use estas identidades:

Aplicaciones

El cálculo diferencial matricial se utiliza en estadística y econometría, particularmente para el análisis estadístico de distribuciones multivariadas , especialmente la distribución normal multivariada y otras distribuciones elípticas . ^[8]^[9]^[10]

Se utiliza en el análisis de regresión para calcular, por ejemplo, la fórmula de regresión de mínimos cuadrados ordinarios para el caso de múltiples variables explicativas . ^[11] También se utiliza en matrices aleatorias, momentos estadísticos, sensibilidad local y diagnósticos estadísticos. ^[12]^[13]

Véase también

Notas

^ abc Aquí, se refiere a un vector columna de todos 0, de tamaño $n$ , donde $n$ es la longitud de $x$ . $\mathbf {0}$
^ ab Aquí, se refiere a una matriz de todos 0, de la misma forma que $X.$ $\mathbf {0}$
^ La constante $a$ desaparece en el resultado. Esto es intencional. En general, o, también ${\frac {d\ln au}{dx}}={\frac {1}{au}}{\frac {d(au)}{dx}}={\frac {1}{au}}a{\frac {du}{dx}}={\frac {1}{u}}{\frac {du}{dx}}={\frac {d\ln u}{dx}}.$ ${\frac {d\ln au}{dx}}={\frac {d(\ln a+\ln u)}{dx}}={\frac {d\ln a}{dx}}+{\frac {d\ln u}{dx}}={\frac {d\ln u}{dx}}.$

Referencias

^ abcde Thomas P., Minka (28 de diciembre de 2000). "Old and New Matrix Algebra Useful for Statistics". Nota del MIT Media Lab (1997; revisada el 12/00) . Consultado el 5 de febrero de 2016 .
^ Felippa, Carlos A. "Apéndice D, Álgebra lineal: determinantes, inversas, rango" (PDF) . ASEN 5007: Introducción a los métodos de elementos finitos . Boulder, Colorado: Universidad de Colorado . Consultado el 5 de febrero de 2016 .Utiliza la definición hessiana ( transpuesta a jacobiana ) de derivadas de vectores y matrices.
^ abcdefghijklmnopq Petersen, Kaare Brandt; Pedersen, Michael Syskind. The Matrix Cookbook (PDF) . Archivado desde el original el 2 de marzo de 2010 . Consultado el 5 de febrero de 2016 . $Este libro utiliza un$ diseño mixto, es decir, de $Y$ en X en ${\frac {\partial \mathbf {Y} }{\partial x}},$ ${\frac {\partial y}{\partial \mathbf {X} }}.$
^ Duchi, John C. "Propiedades de las derivadas de trazas y matrices" (PDF) . Universidad de Stanford . Consultado el 5 de febrero de 2016 .
^ Ver Determinante § Derivada para la derivación.
^ Giles, Mike B. (2008). "Resultados de derivadas de matrices recopilados para diferenciación algorítmica en modo directo e inverso". En Bischof, Christian H.; Bücker, H. Martin; Hovland, Paul; Naumann, Uwe; Utke, Jean (eds.). Avances en diferenciación automática . Apuntes de clase en ciencia e ingeniería computacional. Vol. 64. Berlín: Springer. págs. 35–44. doi :10.1007/978-3-540-68942-3_4. ISBN . 978-3-540-68935-5.Señor 2531677 .
^ Nota inédita de S. Adler (IAS)
^ Fang, Kai-Tai ; Zhang, Yao-Ting (1990). Análisis multivariado generalizado . Science Press (Beijing) y Springer-Verlag (Berlín). ISBN 3540176519. 9783540176510.
^ Pan, Jianxin; Fang, Kaitai (2007). Modelos de curvas de crecimiento y diagnósticos estadísticos . Beijing: Science Press. ISBN 9780387950532.
^ Kollo, Tõnu; Von Rosen, Dietrich (2005). Estadística multivariada avanzada con matrices . Dordrecht: Springer. ISBN 978-1-4020-3418-3.
^ Magnus, Jan; Neudecker, Heinz (2019). Cálculo diferencial matricial con aplicaciones en estadística y econometría . Nueva York: John Wiley. ISBN 9781119541202.
^ Liu, Shuangzhe; Leiva, Victor; Zhuang, Dan; Ma, Tiefeng; Figueroa-Zúñiga, Jorge I. (2022). "Cálculo diferencial matricial con aplicaciones en el modelo lineal multivariado y sus diagnósticos". Journal of Multivariate Analysis . 188 : 104849. doi : 10.1016/j.jmva.2021.104849 .
^ Liu, Shuangzhe; Trenkler, Götz; Kollo, Tõnu; von Rosen, Dietrich; Baksalary, Oskar María (2023). "El profesor Heinz Neudecker y el cálculo diferencial matricial". Artículos estadísticos . doi :10.1007/s00362-023-01499-w. S2CID 263661094.

Lectura adicional

Abadir, Karim M.; Magnus, Jan R. (2005). Álgebra matricial . Ejercicios econométricos. Cambridge: Cambridge University Press. ISBN 978-0-511-64796-3.OCLC 569411497 .
Lax, Peter D. (2007). "9. Cálculo de funciones con valores vectoriales y matriciales". Álgebra lineal y sus aplicaciones (2.ª ed.). Hoboken, NJ: Wiley-Interscience. ISBN 978-0-471-75156-4.
Magnus, Jan R. (octubre de 2010). "Sobre el concepto de derivada de matriz". Journal of Multivariate Analysis . 101 (9): 2200–2206. doi :10.1016/j.jmva.2010.05.005.. Tenga en cuenta que este artículo de Wikipedia ha sido revisado casi por completo a partir de la versión criticada en este artículo.

Enlaces externos

Software

MatrixCalculus.org, un sitio web para evaluar simbólicamente expresiones de cálculo matricial
NCAlgebra, un paquete de Mathematica de código abierto que tiene algunas funciones de cálculo matricial
SymPy admite derivadas de matrices simbólicas en su módulo de expresión matricial, así como derivadas de tensores simbólicos en su módulo de expresión de matriz.

Información

Manual de referencia de Matrix, Mike Brookes, Imperial College London .
Diferenciación de matrices (y algunas otras cosas), Randal J. Barnes, Departamento de Ingeniería Civil, Universidad de Minnesota.
Notas sobre cálculo matricial, Paul L. Fackler, Universidad Estatal de Carolina del Norte .
Cálculo diferencial matricial Archivado el 16 de septiembre de 2012 en Wayback Machine (presentación de diapositivas), Zhang Le, Universidad de Edimburgo .
Introducción a la diferenciación de vectores y matrices (notas sobre diferenciación de matrices, en el contexto de la econometría ), Heino Bohn Nielsen.
Una nota sobre la diferenciación de matrices (notas sobre la diferenciación de matrices), Pawel Koval, del Archivo Personal RePEc de Munich.
Cálculo vectorial/matricial Más notas sobre diferenciación de matrices.
Identidades matriciales (notas sobre diferenciación de matrices), Sam Roweis.