Cálculo matricial

Notación especializada para cálculo multivariable

En matemáticas , el cálculo matricial es una notación especializada para realizar cálculos multivariables , especialmente sobre espacios de matrices . Recoge las diversas derivadas parciales de una única función con respecto a muchas variables , y/o de una función multivariada con respecto a una única variable, en vectores y matrices que pueden tratarse como entidades únicas. Esto simplifica enormemente operaciones como encontrar el máximo o mínimo de una función multivariante y resolver sistemas de ecuaciones diferenciales . La notación utilizada aquí se utiliza comúnmente en estadística e ingeniería , mientras que en física se prefiere la notación de índice tensorial .

Dos convenciones de notación en competencia dividen el campo del cálculo matricial en dos grupos separados. Los dos grupos se pueden distinguir por si escriben la derivada de un escalar con respecto a un vector como un vector columna o un vector fila . Ambas convenciones son posibles incluso cuando se asume que los vectores deben tratarse como vectores columna cuando se combinan con matrices (en lugar de vectores fila). Una sola convención puede ser algo estándar en un solo campo que comúnmente utiliza cálculo matricial (por ejemplo, econometría , estadística, teoría de la estimación y aprendizaje automático ). Sin embargo, incluso dentro de un campo determinado se pueden encontrar diferentes autores que utilizan convenciones contrapuestas. Los autores de ambos grupos suelen escribir como si sus convenciones específicas fueran estándar. Pueden producirse errores graves al combinar resultados de diferentes autores sin verificar cuidadosamente que se hayan utilizado notaciones compatibles. Las definiciones de estas dos convenciones y las comparaciones entre ellas se recopilan en la sección de convenciones de diseño.

Alcance

El cálculo matricial se refiere a una serie de notaciones diferentes que utilizan matrices y vectores para recopilar la derivada de cada componente de la variable dependiente con respecto a cada componente de la variable independiente. En general, la variable independiente puede ser un escalar, un vector o una matriz, mientras que la variable dependiente también puede ser cualquiera de ellas. Cada situación diferente conducirá a un conjunto diferente de reglas, o a un cálculo separado , usando el sentido más amplio del término. La notación matricial sirve como una forma conveniente de recopilar las numerosas derivadas de forma organizada.

Como primer ejemplo, considere el gradiente del cálculo vectorial . Para una función escalar de tres variables independientes, el gradiente viene dado por la ecuación vectorial ${\displaystyle f(x_{1},x_{2},x_{3})}$

${\displaystyle \nabla f={\frac {\partial f}{\partial x_{1}}}{\hat {x}}_{1}+{\frac {\partial f}{\partial x_{2}}}{\hat {x}}_{2}+{\frac {\partial f}{\partial x_{3}}}{\hat {x}}_{3},}$

donde representa un vector unitario en la dirección para . Este tipo de derivada generalizada puede verse como la derivada de un escalar, f , con respecto a un vector, y su resultado se puede recopilar fácilmente en forma vectorial. ${\displaystyle {\hat {x}}_{i}}$ ${\displaystyle x_{i}}$ ${\displaystyle 1\leq i\leq 3}$ ${\displaystyle \mathbf {x} }$

${\displaystyle \nabla f=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\mathsf {T}}={\begin{bmatrix}{\dfrac {\partial f}{\partial x_{1}}}&{\dfrac {\partial f}{\partial x_{2}}}&{\dfrac {\partial f}{\partial x_{3}}}\\\end{bmatrix}}^{\textsf {T}}.}$

Ejemplos más complicados incluyen la derivada de una función escalar con respecto a una matriz, conocida como matriz de gradiente, que recopila la derivada con respecto a cada elemento de la matriz en la posición correspondiente en la matriz resultante. En ese caso el escalar debe ser función de cada una de las variables independientes de la matriz. Como otro ejemplo, si tenemos un n -vector de variables dependientes, o funciones, de m variables independientes, podríamos considerar la derivada del vector dependiente con respecto al vector independiente. El resultado podría recopilarse en una matriz m × n que consta de todas las combinaciones de derivadas posibles.

Hay un total de nueve posibilidades utilizando escalares, vectores y matrices. Observe que a medida que consideramos un mayor número de componentes en cada una de las variables independientes y dependientes, podemos quedarnos con un número muy grande de posibilidades. Los seis tipos de derivadas que se pueden organizar mejor en forma matricial se recogen en la siguiente tabla. ^[1]

Aquí hemos utilizado el término "matriz" en su sentido más general, reconociendo que los vectores son simplemente matrices con una columna (y los escalares son simplemente vectores con una fila). Además, hemos utilizado letras en negrita para indicar vectores y letras mayúsculas en negrita para matrices. Esta notación se utiliza en todo momento.

Observa que también podríamos hablar de la derivada de un vector con respecto a una matriz, o cualquiera de las otras celdas vacías de nuestra tabla. Sin embargo, estas derivadas se organizan de forma más natural en un tensor de rango superior a 2, de modo que no encajan perfectamente en una matriz. En las siguientes tres secciones definiremos cada una de estas derivadas y las relacionaremos con otras ramas de las matemáticas. Consulte la sección de convenciones de diseño para obtener una tabla más detallada.

Relación con otros derivados

La derivada matricial es una notación conveniente para realizar un seguimiento de las derivadas parciales para realizar cálculos. La derivada de Fréchet es la forma estándar en el ámbito del análisis funcional para tomar derivadas con respecto a vectores. En el caso de que una función matricial de una matriz sea diferenciable por Fréchet, las dos derivadas concordarán hasta la traducción de notaciones. Como es el caso en general de las derivadas parciales , algunas fórmulas pueden extenderse en condiciones analíticas más débiles que la existencia de la derivada como una aplicación lineal aproximada.

Usos

El cálculo matricial se utiliza para derivar estimadores estocásticos óptimos, lo que a menudo implica el uso de multiplicadores de Lagrange . Esto incluye la derivación de:

• filtro de kalman
• Filtro de salchicha
• Algoritmo de maximización de expectativas para la mezcla gaussiana
• Descenso de gradiente

Notación

Las derivadas de vectores y matrices que se presentan en las secciones siguientes aprovechan al máximo la notación matricial , utilizando una sola variable para representar una gran cantidad de variables. A continuación distinguiremos escalares, vectores y matrices por su tipo de letra. Dejaremos que M ( n , m ) denote el espacio de matrices reales de n × m con n filas y m columnas. Dichas matrices se denotarán con letras mayúsculas en negrita: A , X , Y , etc. Un elemento de M ( n , 1) , es decir, un vector columna , se denota con una letra minúscula en negrita: a , x , y , etc. Un elemento de M (1,1) es un escalar, ^denotado con letra cursiva minúscula: a , t , x , etc. XT denota transposición de matriz , tr( X ) es la traza y det( X ) o | X | es el determinante . Se supone que todas las funciones son de clase de diferenciabilidad C ¹ a menos que se indique lo contrario. Generalmente se utilizarán letras de la primera mitad del alfabeto (a, b, c,...) para denotar constantes, y de la segunda mitad (t, x, y,...) para denotar variables.

NOTA : Como se mencionó anteriormente, existen notaciones que compiten por diseñar sistemas de derivadas parciales en vectores y matrices, y todavía no parece estar surgiendo ningún estándar. Las siguientes dos secciones introductorias utilizan la convención de diseño del numerador simplemente por razones de conveniencia, para evitar complicar demasiado la discusión. La sección siguiente analiza las convenciones de diseño con más detalle. Es importante darse cuenta de lo siguiente:

1. A pesar del uso de los términos "diseño del numerador" y "diseño del denominador", en realidad hay más de dos posibles opciones de notación involucradas. La razón es que la elección de numerador versus denominador (o en algunas situaciones, numerador versus mixto) se puede hacer de forma independiente para escalar por vector, vector por escalar, vector por vector y escalar por derivados de matrices, y varios autores mezclan y combinan sus opciones de diseño de varias maneras.
2. La elección del diseño del numerador en las secciones introductorias siguientes no implica que sea la elección "correcta" o "superior". Existen ventajas y desventajas para los distintos tipos de diseño. Se pueden producir errores graves al combinar descuidadamente fórmulas escritas en diferentes diseños, y la conversión de un diseño a otro requiere cuidado para evitar errores. Como resultado, cuando se trabaja con fórmulas existentes, la mejor política probablemente sea identificar qué diseño se utiliza y mantener la coherencia con él, en lugar de intentar utilizar el mismo diseño en todas las situaciones.

Alternativas

La notación del índice tensorial con su convención de suma de Einstein es muy similar al cálculo matricial, excepto que uno escribe solo un componente a la vez. Tiene la ventaja de que se pueden manipular fácilmente tensores de rango arbitrariamente alto, mientras que los tensores de rango superior a dos son bastante difíciles de manejar con la notación matricial. Todo el trabajo aquí se puede realizar en esta notación sin utilizar la notación matricial de una sola variable. Sin embargo, muchos problemas en la teoría de la estimación y otras áreas de las matemáticas aplicadas darían como resultado demasiados índices para realizar un seguimiento adecuado, lo que apunta a favor del cálculo matricial en esas áreas. Además, la notación de Einstein puede ser muy útil para demostrar las identidades presentadas aquí (consulte la sección sobre diferenciación ) como una alternativa a la notación de elementos típica, que puede resultar engorrosa cuando se llevan consigo las sumas explícitas. Tenga en cuenta que una matriz puede considerarse un tensor de rango dos.

Derivadas con vectores

Debido a que los vectores son matrices con una sola columna, las derivadas de matrices más simples son derivadas de vectores.

Las notaciones desarrolladas aquí pueden acomodar las operaciones habituales del cálculo vectorial identificando el espacio M ( n ,1 ) de n vectores con el espacio euclidiano R ⁿ , y el escalar M (1,1) se identifica con R . El concepto correspondiente del cálculo vectorial se indica al final de cada subsección.

NOTA : La discusión en esta sección asume la convención de diseño del numerador para propósitos pedagógicos. Algunos autores utilizan convenciones diferentes. La sección sobre convenciones de diseño analiza este tema con mayor detalle. Las identidades proporcionadas más adelante se presentan en formularios que se pueden utilizar junto con todas las convenciones de diseño comunes.

Vector por escalar

La derivada de un vector por un escalar x se escribe (en notación de diseño de numerador) como ${\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}}$

${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}\\{\frac {\partial y_{2}}{\partial x}}\\\vdots \\{\frac {\partial y_{m}}{\partial x}}\\\end{bmatrix}}.}$

En cálculo vectorial la derivada de un vector y con respecto a un escalar x se conoce como vector tangente del vector y ,. Observe aquí que y : R ¹ → R ^m . ${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}$

Ejemplo Ejemplos simples de esto incluyen el vector velocidad en el espacio euclidiano , que es el vector tangente del vector de posición (considerado como una función del tiempo). Además, la aceleración es el vector tangente de la velocidad.

Escalar por vector

La derivada de un escalar y por un vector se escribe (en notación de diseño de numerador) como ${\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}$

${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}={\begin{bmatrix}{\dfrac {\partial y}{\partial x_{1}}}&{\dfrac {\partial y}{\partial x_{2}}}&\cdots &{\dfrac {\partial y}{\partial x_{n}}}\end{bmatrix}}.}$

En cálculo vectorial , el gradiente de un campo escalar f  : R ⁿ → R (cuyas coordenadas independientes son las componentes de x ) es la transpuesta de la derivada de un escalar por un vector.

${\displaystyle \nabla f={\begin{bmatrix}{\frac {\partial f}{\partial x_{1}}}\\\vdots \\{\frac {\partial f}{\partial x_{n}}}\end{bmatrix}}=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\mathsf {T}}}$

Por ejemplo, en física, el campo eléctrico es el vector negativo gradiente del potencial eléctrico .

La derivada direccional de una función escalar f ( x ) del vector espacial x en la dirección del vector unitario u (representado en este caso como un vector columna) se define usando el gradiente de la siguiente manera.

${\displaystyle \nabla _{\mathbf {u} }{f}(\mathbf {x} )=\nabla f(\mathbf {x} )\cdot \mathbf {u} }$

Usando la notación que acabamos de definir para la derivada de un escalar con respecto a un vector, podemos reescribir la derivada direccional como Este tipo de notación será útil para demostrar reglas de producto y reglas de cadena que resulten similares a las que conocemos. para la derivada escalar . ${\displaystyle \nabla _{\mathbf {u} }f={\frac {\partial f}{\partial \mathbf {x} }}\mathbf {u} .}$

Vector por vector

Cada uno de los dos casos anteriores puede considerarse como una aplicación de la derivada de un vector con respecto a un vector, utilizando adecuadamente un vector de tamaño uno. De manera similar, encontraremos que las derivadas que involucran matrices se reducirán a derivadas que involucran vectores de la manera correspondiente.

La derivada de una función vectorial (un vector cuyos componentes son funciones) , con respecto a un vector de entrada, se escribe (en notación de diseño de numerador) como ${\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}}$ ${\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}$

${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.}$

En cálculo vectorial , la derivada de una función vectorial y con respecto a un vector x cuyos componentes representan un espacio se conoce como empuje hacia adelante (o diferencial) , o matriz jacobiana .

El avance a lo largo de una función vectorial f con respecto al vector v en R ⁿ viene dado por ${\displaystyle d\mathbf {f} (\mathbf {v} )={\frac {\partial \mathbf {f} }{\partial \mathbf {v} }}d\mathbf {v} .}$

Derivadas con matrices

Hay dos tipos de derivadas con matrices que se pueden organizar en una matriz del mismo tamaño. Estos son la derivada de una matriz por un escalar y la derivada de un escalar por una matriz. Estos pueden ser útiles en problemas de minimización que se encuentran en muchas áreas de las matemáticas aplicadas y han adoptado los nombres de matriz tangente y matriz de gradiente, respectivamente, después de sus análogos para vectores.

Nota : La discusión en esta sección asume la convención de diseño del numerador para propósitos pedagógicos. Algunos autores utilizan convenciones diferentes. La sección sobre convenciones de diseño analiza este tema con mayor detalle. Las identidades proporcionadas más adelante se presentan en formularios que se pueden utilizar junto con todas las convenciones de diseño comunes.

Matriz por escalar

La derivada de una función matricial Y por un escalar x se conoce como matriz tangente y viene dada (en notación de diseño de numerador) por

${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}.}$

Escalar por matriz

La derivada de una función escalar y , con respecto a una matriz X p × q de variables independientes, viene dada (en notación de diseño de numerador) por

${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.}$

Ejemplos importantes de funciones escalares de matrices incluyen la traza de una matriz y el determinante .

De manera análoga al cálculo vectorial, esta derivada a menudo se escribe de la siguiente manera.

${\displaystyle \nabla _{\mathbf {X} }y(\mathbf {X} )={\frac {\partial y(\mathbf {X} )}{\partial \mathbf {X} }}}$

También de forma análoga al cálculo vectorial , la derivada direccional de un escalar f ( X ) de una matriz X en la dirección de la matriz Y viene dada por

${\displaystyle \nabla _{\mathbf {Y} }f=\operatorname {tr} \left({\frac {\partial f}{\partial \mathbf {X} }}\mathbf {Y} \right).}$

Es la matriz de gradiente, en particular, la que encuentra muchos usos en problemas de minimización en la teoría de la estimación , particularmente en la derivación del algoritmo de filtro de Kalman , que es de gran importancia en este campo.

Otros derivados matriciales

Los tres tipos de derivadas que no se han considerado son las que involucran vectores por matrices, matrices por vectores y matrices por matrices. Estos no se consideran tan ampliamente y no existe un consenso generalizado sobre una notación.

Convenciones de diseño

Esta sección analiza las similitudes y diferencias entre las convenciones de notación que se utilizan en los diversos campos que aprovechan el cálculo matricial. Aunque existen en gran medida dos convenciones consistentes, algunos autores consideran conveniente mezclar las dos convenciones en las formas que se analizan a continuación. Después de esta sección, las ecuaciones se enumerarán en ambas formas competitivas por separado.

La cuestión fundamental es que la derivada de un vector con respecto a un vector, es decir , a menudo se escribe de dos maneras opuestas. Si el numerador y es de tamaño m y el denominador x de tamaño n , entonces el resultado se puede presentar como una matriz m × n o una matriz n × m , es decir, los elementos de y dispuestos en columnas y los elementos de x. dispuestos en filas, o viceversa. Esto conduce a las siguientes posibilidades: ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}$

1. Disposición del numerador , es decir, disposición según y y x ^T (es decir, al contrario de x ). Esto a veces se conoce como formulación jacobiana . Esto corresponde al diseño m × n del ejemplo anterior, lo que significa que el número de fila de es igual al tamaño del numerador y el número de columna de es igual al tamaño de x ^T. ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}$ ${\displaystyle \mathbf {y} }$ ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}$
2. Disposición del denominador , es decir, disposición según y ^T y x (es decir, al contrario de y ). Esto a veces se conoce como formulación de Hesse . Algunos autores denominan a este diseño gradiente , a diferencia del jacobiano (diseño del numerador), que es su transposición. (Sin embargo, gradiente más comúnmente significa la derivada independientemente del diseño). Esto corresponde al diseño n×m del ejemplo anterior, lo que significa que el número de fila de es igual al tamaño de x (el denominador). ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }},}$ ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}$
3. Una tercera posibilidad que a veces se ve es insistir en escribir la derivada como (es decir, la derivada se toma con respecto a la transpuesta de x ) y seguir la disposición del numerador. Esto hace posible afirmar que la matriz está dispuesta tanto según el numerador como según el denominador. En la práctica, esto produce resultados iguales que el diseño del numerador. ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} '}},}$

Al manejar el gradiente y el caso contrario tenemos los mismos problemas. Para ser coherentes, debemos hacer una de las siguientes cosas: ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}}$ ${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}},}$

1. Si elegimos el diseño del numerador, debemos diseñar el degradado como un vector de fila y como un vector de columna. ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},}$ ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}}$ ${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}$
2. Si elegimos el diseño del denominador, debemos diseñar el degradado como un vector de columna y como un vector de fila. ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},}$ ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}}$ ${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}$
3. En la tercera posibilidad anterior, escribimos y usamos el diseño del numerador. ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} '}}}$ ${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}},}$

No todos los libros de texto y artículos de matemáticas son consistentes a este respecto. Es decir, a veces se utilizan diferentes convenciones en diferentes contextos dentro del mismo libro o artículo. Por ejemplo, algunos eligen el diseño del denominador para los gradientes (disponiéndolos como vectores de columna), pero el diseño del numerador para la derivada vector por vector ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}.}$

^{De manera similar, cuando se} trata de derivadas escalar por matriz y derivadas matriz por escalar , el diseño del numerador consistente se presenta de acuerdo con Y y XT , mientras que el diseño del denominador consistente se presenta de acuerdo con Y ^T y X . En la práctica, sin embargo, rara vez se ve seguir un diseño de denominador y presentar el resultado de acuerdo con Y ^T porque genera fórmulas feas que no corresponden a las fórmulas escalares. Como resultado, a menudo se pueden encontrar los siguientes diseños: ${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}$ ${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},}$ ${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},}$

1. Disposición del numerador coherente , que se dispone según Y y según X ^T. ${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}}$ ${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}$
2. Diseño mixto , que se dispone según Y y según X. ${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}}$ ${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}$
3. Utilice la notación con resultados iguales a los del diseño del numerador consistente. ${\displaystyle {\frac {\partial y}{\partial \mathbf {X} '}},}$

En las siguientes fórmulas manejamos las cinco combinaciones posibles y por separado. También manejamos casos de derivadas escalar por escalar que involucran un vector o matriz intermedio. (Esto puede surgir, por ejemplo, si una curva paramétrica multidimensional se define en términos de una variable escalar y luego se toma una derivada de una función escalar de la curva con respecto al escalar que parametriza la curva.) Para cada de las diversas combinaciones, damos resultados de disposición del numerador y de disposición del denominador, excepto en los casos anteriores donde la disposición del denominador rara vez ocurre. En los casos que involucran matrices donde tiene sentido, damos resultados con diseño de numerador y diseño mixto. Como se señaló anteriormente, los casos en los que los denominadores vectoriales y matriciales se escriben en notación transpuesta equivalen a la disposición del numerador con los denominadores escritos sin la transposición. ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }},{\frac {\partial \mathbf {y} }{\partial x}},{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},{\frac {\partial y}{\partial \mathbf {X} }}}$ ${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}}$

Tenga en cuenta que varios autores utilizan diferentes combinaciones de diseños de numerador y denominador para diferentes tipos de derivadas, y no hay garantía de que un autor utilice consistentemente el diseño de numerador o denominador para todos los tipos. Haga coincidir las fórmulas siguientes con las citadas en la fuente para determinar el diseño utilizado para ese tipo particular de derivado, pero tenga cuidado de no asumir que los derivados de otros tipos necesariamente siguen el mismo tipo de diseño.

Al tomar derivadas con un denominador agregado (vectorial o matricial) para encontrar un máximo o mínimo del agregado, se debe tener en cuenta que el uso del diseño del numerador producirá resultados que se transponen con respecto al agregado. Por ejemplo, al intentar encontrar la estimación de máxima verosimilitud de una distribución normal multivariada usando cálculo matricial, si el dominio es un vector de columna k × 1, entonces el resultado usando el diseño del numerador tendrá la forma de un vector de fila 1 × k . . Por lo tanto, los resultados se deben transponer al final o se debe utilizar el diseño del denominador (o diseño mixto).

Los resultados de las operaciones se transpondrán al cambiar entre notación de diseño de numerador y diseño de denominador.

Notación de diseño de numerador

Usando notación de diseño de numerador, tenemos: ^[1]

${\displaystyle {\begin{aligned}{\frac {\partial y}{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}&{\frac {\partial y}{\partial x_{2}}}&\cdots &{\frac {\partial y}{\partial x_{n}}}\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}\\{\frac {\partial y_{2}}{\partial x}}\\\vdots \\{\frac {\partial y_{m}}{\partial x}}\\\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial y}{\partial \mathbf {X} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.\end{aligned}}}$

Las siguientes definiciones sólo se proporcionan en notación de diseño de numerador:

${\displaystyle {\begin{aligned}{\frac {\partial \mathbf {Y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}.\\d\mathbf {X} &={\begin{bmatrix}dx_{11}&dx_{12}&\cdots &dx_{1n}\\dx_{21}&dx_{22}&\cdots &dx_{2n}\\\vdots &\vdots &\ddots &\vdots \\dx_{m1}&dx_{m2}&\cdots &dx_{mn}\\\end{bmatrix}}.\end{aligned}}}$

Notación de diseño del denominador

Usando notación de diseño de denominador, tenemos: ^[2]

${\displaystyle {\begin{aligned}{\frac {\partial y}{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}\\{\frac {\partial y}{\partial x_{2}}}\\\vdots \\{\frac {\partial y}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}&{\frac {\partial y_{2}}{\partial x}}&\cdots &{\frac {\partial y_{m}}{\partial x}}\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{1}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{1}}}\\{\frac {\partial y_{1}}{\partial x_{2}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{1}}{\partial x_{n}}}&{\frac {\partial y_{2}}{\partial x_{n}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial y}{\partial \mathbf {X} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{12}}}&\cdots &{\frac {\partial y}{\partial x_{1q}}}\\{\frac {\partial y}{\partial x_{21}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{2q}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{p1}}}&{\frac {\partial y}{\partial x_{p2}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.\end{aligned}}}$

Identidades

Como se señaló anteriormente, en general, los resultados de las operaciones se transpondrán al cambiar entre la notación de diseño de numerador y de diseño de denominador.

Para ayudar a entender todas las identidades siguientes, tenga en cuenta las reglas más importantes: la regla de la cadena , la regla del producto y la regla de la suma . La regla de la suma se aplica universalmente y la regla del producto se aplica en la mayoría de los casos siguientes, siempre que se mantenga el orden de los productos matriciales, ya que los productos matriciales no son conmutativos. La regla de la cadena se aplica en algunos de los casos, pero desafortunadamente no se aplica en derivadas matriz por escalar o derivadas escalar por matriz (en el último caso, involucra principalmente al operador de traza aplicado a matrices). En el último caso, la regla del producto tampoco se puede aplicar directamente, pero se puede hacer el equivalente con un poco más de trabajo utilizando las identidades diferenciales.

Las siguientes identidades adoptan las siguientes convenciones:

• los escalares a , b , c , d y e son constantes con respecto a, y los escalares u y v son funciones de uno de x , x o X ;
• los vectores a , b , c , d y e son constantes con respecto a, y los vectores u y v son funciones de uno de x , x o X ;
• las matrices A , B , C , D y E son constantes con respecto a, y las matrices U y V son funciones de uno de x , x o X.

Identidades vector por vector

Esto se presenta primero porque todas las operaciones que se aplican a la diferenciación vector por vector se aplican directamente a la diferenciación vector por escalar o escalar por vector simplemente reduciendo el vector apropiado en el numerador o denominador a un escalar.

Identidades escalares por vectores

Las identidades fundamentales se colocan encima de la línea negra gruesa.

Identidades vector por escalar

NOTA : Las fórmulas que involucran las derivadas vector por vector y (cuyas salidas son matrices) asumen que las matrices están dispuestas de manera consistente con la disposición del vector, es decir, matriz con disposición del numerador cuando es vector con disposición del numerador y viceversa; de lo contrario, transponga las derivadas vector por vector. ${\displaystyle {\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}}$ ${\displaystyle {\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}}$

Identidades escalar por matriz

Tenga en cuenta que no existen equivalentes exactos de la regla del producto escalar y la regla de la cadena cuando se aplican a funciones de matrices con valores matriciales. Sin embargo, la regla del producto de este tipo se aplica a la forma diferencial (ver más abajo), y esta es la forma de derivar muchas de las identidades siguientes que involucran la función de traza , combinada con el hecho de que la función de traza permite la transposición y la permutación cíclica. es decir:

${\displaystyle {\begin{aligned}\operatorname {tr} (\mathbf {A} )&=\operatorname {tr} \left(\mathbf {A^{\top }} \right)\\\operatorname {tr} (\mathbf {ABCD} )&=\operatorname {tr} (\mathbf {BCDA} )=\operatorname {tr} (\mathbf {CDAB} )=\operatorname {tr} (\mathbf {DABC} )\end{aligned}}}$

Por ejemplo, para calcular ${\displaystyle {\frac {\partial \operatorname {tr} (\mathbf {AXBX^{\top }C} )}{\partial \mathbf {X} }}:}$

$${\displaystyle {\begin{aligned}d\operatorname {tr} (\mathbf {AXBX^{\top }C} )&=d\operatorname {tr} \left(\mathbf {CAXBX^{\top }} \right)=\operatorname {tr} \left(d\left(\mathbf {CAXBX^{\top }} \right)\right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d(\mathbf {BX^{\top }} \right)+d\left(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d\left(\mathbf {BX^{\top }} \right)\right)+\operatorname {tr} \left(d(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} d\left(\mathbf {X^{\top }} \right)\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)+\operatorname {tr} (\mathbf {CA} \left(d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)^{\top }\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left((d\mathbf {X} )\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} \right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} (d\mathbf {X} )\right)+\operatorname {tr} \left(\mathbf {BX^{\top }} \mathbf {CA} (d\mathbf {X} )\right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }} \mathbf {CA} \right)d\mathbf {X} \right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }XB^{\top }} \right)^{\top }d\mathbf {X} \right)\end{aligned}}}$$

Por lo tanto,

${\displaystyle {\frac {\partial \operatorname {tr} \left(\mathbf {AXBX^{\top }C} \right)}{\partial \mathbf {X} }}=\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }CA} .}$(diseño del numerador)

${\displaystyle {\frac {\partial \operatorname {tr} \left(\mathbf {AXBX^{\top }C} \right)}{\partial \mathbf {X} }}=\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }XB^{\top }} .}$(diseño del denominador)

(Para el último paso, consulte la sección Conversión de forma diferencial a derivada).

Identidades matriz por escalar

Identidades escalar por escalar

Con vectores involucrados

Con matrices involucradas

Identidades en forma diferencial

A menudo es más fácil trabajar en forma diferencial y luego convertir nuevamente a derivadas normales. Esto sólo funciona bien usando el diseño del numerador. En estas reglas, a es un escalar.

En la última fila, está el delta de Kronecker y es el conjunto de operadores de proyección ortogonales que se proyectan sobre el k -ésimo vector propio de X. Q es la matriz de vectores propios de y son los valores propios. La función matricial se define en términos de la función escalar para matrices diagonalizables por donde con . ${\displaystyle \delta _{ij}}$ ${\displaystyle (\mathbf {P} _{k})_{ij}=(\mathbf {Q} )_{ik}(\mathbf {Q} ^{-1})_{kj}}$ ${\displaystyle \mathbf {X} =\mathbf {Q} {\boldsymbol {\Lambda }}\mathbf {Q} ^{-1}}$ ${\displaystyle ({\boldsymbol {\Lambda }})_{ii}=\lambda _{i}}$ ${\displaystyle f(\mathbf {X} )}$ ${\displaystyle f(x)}$ ${\textstyle f(\mathbf {X} )=\sum _{i}f(\lambda _{i})\mathbf {P} _{i}}$ ${\textstyle \mathbf {X} =\sum _{i}\lambda _{i}\mathbf {P} _{i}}$ ${\displaystyle \mathbf {P} _{i}\mathbf {P} _{j}=\delta _{ij}\mathbf {P} _{i}}$

Para convertir a la forma derivada normal, primero conviértala a una de las siguientes formas canónicas y luego use estas identidades:

Aplicaciones

El cálculo diferencial matricial se utiliza en estadística y econometría, particularmente para el análisis estadístico de distribuciones multivariadas , especialmente la distribución normal multivariada y otras distribuciones elípticas . ^{[8] [9] [10]}

Se utiliza en análisis de regresión para calcular, por ejemplo, la fórmula de regresión de mínimos cuadrados ordinarios para el caso de múltiples variables explicativas . ^[11] También se utiliza en matrices aleatorias, momentos estadísticos, sensibilidad local y diagnóstico estadístico. ^{[12] [13]}

Ver también

• Portal de matemáticas

• Derivada (generalizaciones)
• integral del producto
• cálculo de ricci

Notas

1. Aquí, se refiere a un vector de columna de todos 0, de tamaño n , donde n es la longitud de x . ${\displaystyle \mathbf {0} }$
2. Aquí, se refiere a una matriz de todos 0, de la misma forma que X. ${\displaystyle \mathbf {0} }$
3. La constante a desaparece en el resultado. Esto es intencional. En general,
   $${\displaystyle {\frac {d\ln au}{dx}}={\frac {1}{au}}{\frac {d(au)}{dx}}={\frac {1}{au}}a{\frac {du}{dx}}={\frac {1}{u}}{\frac {du}{dx}}={\frac {d\ln u}{dx}}.}$$
   o, también
   $${\displaystyle {\frac {d\ln au}{dx}}={\frac {d(\ln a+\ln u)}{dx}}={\frac {d\ln a}{dx}}+{\frac {d\ln u}{dx}}={\frac {d\ln u}{dx}}.}$$

Referencias

1. Thomas P., Minka (28 de diciembre de 2000). "Álgebra matricial antigua y nueva útil para estadística". Nota del MIT Media Lab (1997; revisada el 12/00) . Consultado el 5 de febrero de 2016 .
2. Felippa, Carlos A. "Apéndice D, Álgebra lineal: determinantes, inversas, rango" (PDF) . ASEN 5007: Introducción a los métodos de elementos finitos . Boulder, Colorado: Universidad de Colorado . Consultado el 5 de febrero de 2016 .Utiliza la definición hessiana ( transpuesta a jacobiana ) de derivadas de vectores y matrices.
3. Petersen, Kaare Brandt; Pedersen, Michael Syskind. El libro de cocina Matrix (PDF) . Archivado desde el original el 2 de marzo de 2010 . Consultado el 5 de febrero de 2016 .Este libro utiliza un diseño mixto, es decir, por Y en por X en ${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},}$ ${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}.}$
4. Duchi, John C. "Propiedades de los derivados de trazas y matrices" (PDF) . Universidad Stanford . Consultado el 5 de febrero de 2016 .
5. Ver Determinante § Derivada para la derivación.
6. Giles, Michael B. (2008). "Una colección ampliada de resultados derivados de matrices para diferenciación algorítmica en modo directo e inverso" (PDF) . S2CID  17431500. Archivado desde el original (PDF) el 27 de febrero de 2020. {{cite journal}}: Citar diario requiere |journal=( ayuda )
7. Memorándum inédito de S Adler (IAS)
8. Colmillo, Kai-Tai ; Zhang, Yao-Ting (1990). Análisis multivariado generalizado . Science Press (Pekín) y Springer-Verlag (Berlín). ISBN 3540176519. 9783540176510.
9. Pan, Jianxin; Colmillo, Kaitai (2007). Modelos de curvas de crecimiento y diagnóstico estadístico . Beijing: Science Press. ISBN 9780387950532.
10. Kollo, Tõnu; Von Rosen, Dietrich (2005). Estadística multivariada avanzada con matrices . Dordrecht: Springer. ISBN 978-1-4020-3418-3.
11. Magnus, enero; Neudecker, Heinz (2019). Cálculo diferencial matricial con aplicaciones en estadística y econometría . Nueva York: John Wiley. ISBN 9781119541202.
12. Liu, Shuangzhe; Leiva, Víctor; Zhuang, Dan; Mamá, Tiefeng; Figueroa-Zúñiga, Jorge I. (2022). "Cálculo diferencial matricial con aplicaciones en el modelo lineal multivariado y su diagnóstico". Revista de análisis multivariado . 188 : 104849. doi : 10.1016/j.jmva.2021.104849 .
13. Liu, Shuangzhe; Trenkler, Götz; Kollo, Tõnu; von Rosen, Dietrich; Baksalary, Oskar María (2023). "El profesor Heinz Neudecker y el cálculo diferencial matricial". Artículos estadísticos . doi :10.1007/s00362-023-01499-w. S2CID  263661094.

Otras lecturas

• Abadir, Karim M.; Magnus, enero R. (2005). Álgebra matricial . Ejercicios econométricos. Cambridge: Prensa de la Universidad de Cambridge. ISBN 978-0-511-64796-3. OCLC  569411497.
• Laxo, Peter D. (2007). "9. Cálculo de funciones vectoriales y matriciales". Álgebra lineal y sus aplicaciones (2ª ed.). Hoboken, Nueva Jersey: Wiley-Interscience. ISBN 978-0-471-75156-4.
• Magnus, Jan R. (octubre de 2010). "Sobre el concepto de derivada matricial". Revista de análisis multivariado . 101 (9): 2200–2206. doi :10.1016/j.jmva.2010.05.005.. Tenga en cuenta que este artículo de Wikipedia ha sido revisado casi por completo a partir de la versión criticada en este artículo.

enlaces externos

Software

• MatrixCalculus.org, un sitio web para evaluar simbólicamente expresiones de cálculo matricial
• NCAlgebra, un paquete de Mathematica de código abierto que tiene algunas funciones de cálculo matricial
• SymPy admite derivadas de matrices simbólicas en su módulo de expresión matricial, así como derivadas de tensores simbólicos en su módulo de expresión de matrices.

Información

• Manual de referencia de Matrix, Mike Brookes, Imperial College London .
• Diferenciación de matrices (y algunas otras cosas), Randal J. Barnes, Departamento de Ingeniería Civil, Universidad de Minnesota.
• Notas sobre cálculo matricial, Paul L. Fackler, Universidad Estatal de Carolina del Norte .
• Cálculo diferencial matricial Archivado el 16 de septiembre de 2012 en Wayback Machine (presentación de diapositivas), Zhang Le, Universidad de Edimburgo .
• Introducción a la diferenciación de vectores y matrices (notas sobre diferenciación de matrices, en el contexto de la econometría ), Heino Bohn Nielsen.
• Una nota sobre la diferenciación de matrices (notas sobre la diferenciación de matrices), Pawel Koval, del Archivo Personal RePEc de Munich.
• Cálculo vectorial/matriz Más notas sobre diferenciación de matrices.
• Identidades matriciales (notas sobre diferenciación de matrices), Sam Roweis.