1. 矩阵行列式、转置、逆具有可交换性;

• $|A^T|=|A{|}^T,|A^{-1}|=|A{|}^{-1},(A^{-1}{)}^T=(A^T{)}^{-1},tr(A^T)=tr(A)$
• $|AB|=|B||A|,(AB{)}^T=B^T{A}^T,(AB{)}^{-1}=B^{-1}{A}^{-1},tr(AB)=tr(BA)$
• $tr(A+B)=tr(A)+tr(B),(A+B{)}^T=A^T+B^T$
• $|A+B|\ne |A|+|B|,(A+B{)}^{-1}\ne A^{-1}+B^{-1}$

2. 函数对矩阵的导数

3. 梯度

向量函数$f(\mathbf{x})$关于向量$\mathbf{x}$的导数(两个重点：向量函数，对向量求导),

特别地， $$\frac{d{\mathbf{x}}^{\mathbf{T}}\mathbf{x}}{d\mathbf{x}}=2\mathbf{x}（justremember）$$

4. 二范数求导结果

利用上面的结果，可以由复合函数的链式法则$\frac{\partial f(x)}{\partial x}=\frac{\partial g(h(x))}{\partial h(x)}\cdot \frac{\partial h(x)}{\partial x}$求$(Ax-b{)}^{T}W(Ax-b)$关于$x$的导数(令$h=Ax-b$)
$$\begin{array}{rl}\frac{\partial }{\partial x}(\mathbf{A}x-b{)}^{\mathrm{T}}\mathbf{W}(\mathbf{A}x-b)& =\frac{\partial (\mathbf{A}x-b)}{\partial x}\cdot 2\mathbf{W}(\mathbf{A}x-b)\\ & =2{\mathbf{A}}^T\mathbf{W}(\mathbf{A}x-b)\end{array}$$
这个在求最小二乘法范数距离的最小化的时候很有用
$$\frac{\partial ||Ax-b|{|}_2^2}{\partial x}=\frac{\partial (Ax-b{)}^T(Ax-b)}{\partial x}=2A^T(Ax-b)$$

5. 矩阵乘法微分规则

$$\begin{array}{c}\frac{\partial {\mathbf{x}}^{\mathrm{T}}\mathbf{a}}{\partial \mathbf{x}}=\frac{\partial {\mathbf{a}}^{\mathrm{T}}\mathbf{x}}{\partial \mathbf{x}}=\mathbf{a}\\ \frac{\partial \mathbf{AB}}{\partial \mathbf{x}}=\frac{\partial \mathbf{A}}{\partial \mathbf{x}}\mathbf{B}+\mathbf{A}\frac{\partial \mathbf{B}}{\partial \mathbf{x}}\end{array}$$

由 ${\mathbf{A}}^{-1}\mathbf{A}=\mathbf{I}$ 和 式 $(\mathrm{A}.23)$, 逆矩阵的导数可表示为

$$\frac{\partial {\mathbf{A}}^{-1}}{\partial x}=-{\mathbf{A}}^{-1}\frac{\partial \mathbf{A}}{\partial x}{\mathbf{A}}^{-1}$$

6. 矩阵对矩阵求导

参考自：https://zhuanlan.zhihu.com/p/59133643

梯度 散度 旋度 拉普拉斯运算

拉普拉斯运算 = 梯度的散度 L(f) = div(grad(f))