一、基本知识

本书中所有的$\vec{x}$向量都是列向量的形式：

$\vec{x} = (x_1, x_2, \cdots, x_n)^T = \left[ \begin{array}{ccc} x_1 \\\\ x_2 \\\\ \vdots \\\\ x_n \end{array} \right]$

1.本书中所有的矩阵 $X\in \mathbb{R}^{m \times n}$，都表示为：

$\mathbf{X} = \begin{bmatrix} x_{1,1} & x_{1,2} & \cdots & x_{1,n} \\ x_{2,1} & x_{2,2} & \cdots & x_{2,n} \\ \vdots & \vdots & \ddots & \vdots \\ x_{m,1} & x_{m,2} & \cdots & x_{m,n} \end{bmatrix}$

简写为：$(x_{i,j} )_{m \times n}$ 或者 $[x_{i,j} ]_{m \times n}$ 。

2.矩阵的F范数

设矩阵 $A=(a_{i,j} )_{m \times n}$, 则其 F 范数为：$||A||_F=\sqrt{\sum _{i,j} a^2 _{i,j} }$

它是向量的 $L_2$ 范数的推广。

3.矩阵的迹

设矩阵 $A=(a_{i,j} )_{m \times n}$, 则 $A$ 的迹为: $tr(A) = \sum _i a _{i,i}$

白话：
矩阵的迹就是矩阵主对角线元素的和。

迹的性质有：
I. $A$ 的F 范数等于$AA^T$ 的迹的平方根：$||A||_F = \sqrt{tr(AA^T)}$
II. $A$ 的迹等于 $A^T$的迹：$tr(A)=tr(A^T)$
III. 交换律：假设$A\in \mathbb{R}^{m\times n}, B\in \mathbb{R^{n\times m},}$ 则有: $tr(AB)=tr(BA)$
IV. 结合律: $tr(ABC)=tr(CAB)=tr(BCA)$