定义

给定两个矩阵 $A=(a_{i,j})\in \mathbb{R}^{m\times n}, B=(b_{i,j})\in \mathbb{R}^{m\times n}$。

1. 阿达马积 Hadamard product（又称作逐元素积）

阿达马积，也称为逐元素积，是两个相同维度的矩阵对应元素相乘的结果。

$A \circ B = \begin{bmatrix} a_{1,1}b_{1,1} & a_{1,2}b_{1,2} & \cdots & a_{1,n}b_{1,n} \\ a_{2,1}b_{2,1} & a_{2,2}b_{2,2} & \cdots & a_{2,n}b_{2,n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m,1}b_{m,1} & a_{m,2}b_{m,2} & \cdots & a_{m,n}b_{m,n} \end{bmatrix}$

注:

雅克-所罗门·阿达马（Jacques-Salomon Hadamard，1865 年 12 月 8 日生于法国凡尔赛 - 1963 年 10 月 17 日卒于巴黎）是一位法国数学家，他证明了素数定理，该定理指出，当 n 接近无穷大时，π(n)接近 $\frac{n}{lnn}$，其中π(n)是不大于 n 的正素数数。

注：
为什么不翻译为 “哈达玛”，因为看网上说此处的h在法语中不发音。

2. 克罗内克积（Kronecker Product）

克罗内积是两个矩阵的张量积，结果是一个分块矩阵。

$A \otimes B = \begin{bmatrix} a_{1,1}B & a_{1,2}B & \cdots & a_{1,n}B \\ a_{2,1}B & a_{2,2}B & \cdots & a_{2,n}B \\ \vdots & \vdots & \ddots & \vdots \\ a_{m,1}B & a_{m,2}B & \cdots & a_{m,n}B \end{bmatrix}$

注:

克罗内克，德国数学家。对代数和代数数论，特别是椭圆函数理论有突出贡献。

小结：

• 阿达马积：对应元素相乘，要求两个矩阵维度相同。
• 克罗内克积：生成一个分块矩阵，不要求两个矩阵维度相同。

基本公式

设$\vec{a}, \vec{b}, \vec{c}, \vec{x}$ 为 n 阶向量，$A,B,C,X$为 n 阶方阵，则有：

注:
$\vec{a}, \vec{b}, \vec{c}$ 是常量向量
$\vec{x}$ 是变量常量
$A,B,C$ 是常量矩阵
$X$ 是变量矩阵

1. 向量导数的基本公式

$\frac{\partial (\vec{a}^T \vec{x})}{\partial \vec{x}} = \frac{\partial (\vec{x}^T \vec{a})}{\partial \vec{x}} = \vec{a}$

2. 矩阵导数的基本公式

$\frac{\partial (\vec{a}^T X \vec{b})}{\partial X} = \vec{a} \vec{b}^T = \vec{a} \otimes \vec{b} \in \mathbb{R}^{n \times n}$

$\frac{\partial (\vec{a}^T X^T \vec{b})}{\partial X} = \vec{b} \vec{a}^T = \vec{b} \otimes \vec{a} \in \mathbb{R}^{n \times n}$

$\frac{\partial (\vec{a}^T X \vec{a})}{\partial X} = \frac{\partial (\vec{a}^T X^T \vec{a})}{\partial X} = \vec{a} \otimes \vec{a}$

$\frac{\partial (\vec{a}^T X^T X \vec{b})}{\partial X} = X (\vec{a} \otimes \vec{b} + \vec{b} \otimes \vec{a})$

3. 复合函数的导数

$\frac{\partial [(\mathbf{A} \vec{x} + \vec{a})^T \mathbf{C} (\mathbf{B} \vec{x} + \vec{b})]}{\partial \vec{x}} = \mathbf{A}^T \mathbf{C} (\mathbf{B} \vec{x} + \vec{b}) + \mathbf{B}^T \mathbf{C} (\mathbf{A} \vec{x} + \vec{a})$

$\frac{\partial (\vec{x}^T \mathbf{A} \vec{x})}{\partial \vec{x}} = (\mathbf{A} + \mathbf{A}^T) \vec{x}$

$\frac{\partial [(\mathbf{X} \vec{b} + \vec{c})^T \mathbf{A} (\mathbf{X} \vec{b} + \vec{c})]}{\partial X} = (\mathbf{A} + \mathbf{A}^T)(\mathbf{X} \vec{b} + \vec{c}) \vec{b}^T$

$\frac{\partial (\vec{b}^T X^T \mathbf{A} X \vec{c})}{\partial X} = \mathbf{A}^T \mathbf{X} \vec{b} \vec{c}^T + \mathbf{A} X \vec{c} \vec{b}^T$

逐(zhú)元

1. 逐元向量函数

如果 $f$ 是一元函数，则：

• 逐元向量函数为：

$f(\vec{x}) = (f(x_1),f(x_2),\cdots,f(x_n))^T$

• 逐矩阵函数为：

$f(\mathbf{X}) = \begin{bmatrix} f(x_{1,1}) & f(x_{1,2}) & \cdots & f(x_{1,n}) \\ f(x_{2,1}) & f(x_{2,2}) & \cdots & f(x_{2,n}) \\ \vdots & \vdots & \ddots & \vdots \\ f(x_{m,1}) & f(x_{m,2}) & \cdots & f(x_{m,n}) \end{bmatrix}$

问题：???
我看网上有人说：//需要考证
逐元向量函数为

$f(\mathbf{X}) = \begin{bmatrix} f(x_{1,1}) & f(x_{1,2}) & \cdots & f(x_{1,n}) \\ f(x_{2,1}) & f(x_{2,2}) & \cdots & f(x_{2,n}) \\ \vdots & \vdots & \ddots & \vdots \\ f(x_{m,1}) & f(x_{m,2}) & \cdots & f(x_{m,n}) \end{bmatrix}$

2. 逐元导数

逐元导数分别为：

$f'(\vec{x}) = (f'(x_1),f'(x_2),\cdots,f'(x_n))^T$

$f'(\mathbf{X}) = \begin{bmatrix} f'(x_{11}) & f'(x_{12}) & \cdots & f'(x_{1n}) \\ f'(x_{21}) & f'(x_{22}) & \cdots & f'(x_{2n}) \\ \vdots & \vdots & \ddots & \vdots \\ f'(x_{m1}) & f'(x_{m2}) & \cdots & f'(x_{mn}) \end{bmatrix}$

总结

逐元向量函数：将一元函数 $f$ 应用于矩阵 $\mathbf{X}$ 的每个元素。
逐元导数：将一元函数的导数 $f'$ 应用于矩阵 $\mathbf{X}$ 的每个元素。

偏导数

1. 标量对标量的偏导数

$\frac{\partial u}{\partial v}$

2. 标量对向量的偏导数

$\frac{\partial u}{\partial \mathbf{v}} = \left( \frac{\partial u}{\partial v_1}, \frac{\partial u}{\partial v_2}, \cdots, \frac{\partial u}{\partial v_n} \right)^T$

3. 标量对矩阵(m×n阶矩阵)的偏导数

$\frac{\partial u}{\partial \mathbf{V}} = \begin{bmatrix} \frac{\partial u}{\partial V_{1,1}} & \frac{\partial u}{\partial V_{1,2}} & \cdots & \frac{\partial u}{\partial V_{1,n}} \\ \frac{\partial u}{\partial V_{2,1}} & \frac{\partial u}{\partial V_{2,2}} & \cdots & \frac{\partial u}{\partial V_{2,n}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial u}{\partial V_{m,1}} & \frac{\partial u}{\partial V_{m,2}} & \cdots & \frac{\partial u}{\partial V_{m,n}} \end{bmatrix}$

4. 向量(m维向量)对标量的偏导数

$\frac{\partial \mathbf{u}}{\partial v} = \left( \frac{\partial u_1}{\partial v}, \frac{\partial u_2}{\partial v}, \cdots, \frac{\partial u_m}{\partial v} \right)^T$

5. 向量(m维向量)对向量(n维向量)的偏导数（雅可比矩阵，行优先）

$\frac{\partial \mathbf{u}}{\partial \mathbf{v}} = \begin{bmatrix} \frac{\partial u_1}{\partial v_1} & \frac{\partial u_1}{\partial v_2} & \cdots & \frac{\partial u_1}{\partial v_n} \\ \frac{\partial u_2}{\partial v_1} & \frac{\partial u_2}{\partial v_2} & \cdots & \frac{\partial u_2}{\partial v_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial u_m}{\partial v_1} & \frac{\partial u_m}{\partial v_2} & \cdots & \frac{\partial u_m}{\partial v_n} \end{bmatrix}$

如果为列优先，则需要将上面矩阵的进行转置。

6. 矩阵(m×n阶矩阵)对标量的偏导数

$\frac{\partial \mathbf{U}}{\partial v} = \begin{bmatrix} \frac{\partial U_{1,1}}{\partial v} & \frac{\partial U_{1,2}}{\partial v} & \cdots & \frac{\partial U_{1,n}}{\partial v} \\ \frac{\partial U_{2,1}}{\partial v} & \frac{\partial U_{2,2}}{\partial v} & \cdots & \frac{\partial U_{2,n}}{\partial v} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial U_{m,1}}{\partial v} & \frac{\partial U_{m,2}}{\partial v} & \cdots & \frac{\partial U_{m,n}}{\partial v} \end{bmatrix}$

对于矩阵的迹，有下列偏导数成立

$\frac{\partial \text{tr}(AXB)}{\partial X} = A^T B^T$

$\frac{\partial \text{tr}(AX^T B)}{\partial X} = B A$

$\frac{\partial \text{tr}(A \otimes X)}{\partial X} = A^T$

$\frac{\partial \text{tr}(AXBX)}{\partial X} = A^T X^T B^T + B^T X A^T$

$\frac{\partial \text{tr}(X^T B X C)}{\partial X} = B X C + B^T X C$

$\frac{\partial \text{tr}(C^T X^T B X C)}{\partial X} = (B + B^T) X C C^T$

$\frac{\partial \text{tr}(AXBX^T C)}{\partial X} = A^T C^T X B^T + C A X B$

$\frac{\partial \text{tr}((AXB + C)(AXB + C))}{\partial X} = 2 A^T (AXB + C) B^T$

$\frac{\partial \text{tr}(f(X))}{\partial X} = (f'(\partial X))^T$