Woodbury矩阵恒等式

伍德伯里矩阵恒等式（Woodbury matrix identity）是一个非常有用的矩阵恒等式，它提供了一种计算矩阵求逆的方法，特别是当矩阵是分块形式时。这个恒等式可以简化矩阵求逆的计算，特别是在处理大规模矩阵时。

伍德伯里矩阵恒等式表述如下：

给定四个矩阵 $A,U,C,V$，其中 $A$ 是一个可逆的 $n\times n$矩阵，$U$ 是一个 $n\times k$ 矩阵，$C$ 是一个 $k\times k$ 可逆矩阵，$V$ 是一个 $k\times n$ 矩阵，那么以下等式成立：

$$(A+UCV{)}^{-1}=A^{-1}-A^{-1}U(C^{-1}+V{A}^{-1}U{)}^{-1}V{A}^{-1}$$

这里，$A+UCV$ 是一个 $n\times n$ 矩阵，$(A+UCV{)}^{-1}$ 是它的逆矩阵。

在高斯分布协方差矩阵中的应用

考虑两个协方差矩阵${\mathbf{\Sigma }}_1$，${\mathbf{\Sigma }}_2$，带入到Woodbury矩阵恒等式，下面两个等式恒成立：
$$\begin{array}{rl}({\mathbf{\Sigma }}_1+{\mathbf{\Sigma }}_2{)}^{-1}& ={\mathbf{\Sigma }}_1^{-1}-{\mathbf{\Sigma }}_1^{-1}\mathbf{\Sigma }{\mathbf{\Sigma }}_1^{-1}\\ ({\mathbf{\Sigma }}_1+{\mathbf{\Sigma }}_2{)}^{-1}& ={\mathbf{\Sigma }}_2^{-1}-{\mathbf{\Sigma }}_2^{-1}\mathbf{\Sigma }{\mathbf{\Sigma }}_2^{-1}\end{array}$$

此外，如果令
$${\mathbf{\Sigma }}^{-1}={\mathbf{\Sigma }}_1^{-1}+{\mathbf{\Sigma }}_2^{-1}$$
则，
$${\mathbf{\Sigma }}_1^{-1}\mathbf{\Sigma }{\mathbf{\Sigma }}_2^{-1}={\mathbf{\Sigma }}_1^{-1}{\left({\mathbf{\Sigma }}_1^{-1}+{\mathbf{\Sigma }}_2^{-1}\right)}^{-1}{\mathbf{\Sigma }}_2^{-1}=({\mathbf{\Sigma }}_1+{\mathbf{\Sigma }}_2{)}^{-1}$$

我们可以把$\mathbf{\Sigma }$表示为：
$$\mathbf{\Sigma }={\mathbf{\Sigma }}_1({\mathbf{\Sigma }}_1+{\mathbf{\Sigma }}_2{)}^{-1}{\mathbf{\Sigma }}_2$$

行列式的性质

因为
$${\mathbf{\Sigma }}_1^{-1}\mathbf{\Sigma }{\mathbf{\Sigma }}_2^{-1}=({\mathbf{\Sigma }}_1+{\mathbf{\Sigma }}_2{)}^{-1}$$
即，
$$({\mathbf{\Sigma }}_1+{\mathbf{\Sigma }}_2)={\mathbf{\Sigma }}_2{\mathbf{\Sigma }}^{-1}{\mathbf{\Sigma }}_1$$
因此
$$|({\mathbf{\Sigma }}_1+{\mathbf{\Sigma }}_2)|=\frac{|{\mathbf{\Sigma }}_1||{\mathbf{\Sigma }}_2|}{|({\mathbf{\Sigma }}_1^{-1}+{\mathbf{\Sigma }}_2^{-1}{)}^{-1}|}$$
即
$$\frac{1}{|{\mathbf{\Sigma }}_1||{\mathbf{\Sigma }}_2|}=\frac{1}{|({\mathbf{\Sigma }}_1+{\mathbf{\Sigma }}_2)|}\cdot \frac{1}{|({\mathbf{\Sigma }}_1^{-1}+{\mathbf{\Sigma }}_2^{-1}{)}^{-1}|}$$

两个高维高斯高斯分布相乘的完整结果

对于同一个随机向量 (\mathbf{x}) 对应的两个不同的高斯分布，我们可以将这两个高斯分布分别表示为：

$$\mathbf{x}\sim \mathcal{N}({\mathbf{\mu }}_1,{\mathbf{\Sigma }}_1)\text{和}\mathbf{x}\sim \mathcal{N}({\mathbf{\mu }}_2,{\mathbf{\Sigma }}_2)$$

其中，${\mathbf{\mu }}_1$ 和 ${\mathbf{\mu }}_2$ 是两个分布的均值向量，${\mathbf{\Sigma }}_1$ 和 ${\mathbf{\Sigma }}_2$ 是两个分布的协方差矩阵。

当我们谈论两个高斯分布的“乘积”时，我们通常是指这两个分布的概率密度函数（PDF）的乘积。对于两个高斯分布，它们的PDF相乘的结果是另一个函数，但这个函数不再是一个标准的高斯分布。两个高斯分布的PDF相乘的完整表达式为：

$$f(\mathbf{x})=f_1(\mathbf{x})\cdot f_2(\mathbf{x})$$

其中，$f_1(\mathbf{x})$ 和 $f_2(\mathbf{x})$ 分别是两个高斯分布的PDF，可以写为：

$$f_1(\mathbf{x})=\frac{1}{\sqrt{(2\pi {)}^D|{\mathbf{\Sigma }}_1|}}\exp \left(-\frac{1}{2}(\mathbf{x}-{\mathbf{\mu }}_1{)}^T{\mathbf{\Sigma }}_1^{-1}(\mathbf{x}-{\mathbf{\mu }}_1)\right)$$

$$f_2(\mathbf{x})=\frac{1}{\sqrt{(2\pi {)}^D|{\mathbf{\Sigma }}_2|}}\exp \left(-\frac{1}{2}(\mathbf{x}-{\mathbf{\mu }}_2{)}^T{\mathbf{\Sigma }}_2^{-1}(\mathbf{x}-{\mathbf{\mu }}_2)\right)$$

因此，两个PDF的乘积为：

$$f(\mathbf{x})=\frac{1}{(2\pi {)}^{D/2}|{\mathbf{\Sigma }}_1{|}^{1/2}|{\mathbf{\Sigma }}_2{|}^{1/2}}\exp \left(-\frac{1}{2}\left[(\mathbf{x}-{\mathbf{\mu }}_1{)}^T{\mathbf{\Sigma }}_1^{-1}(\mathbf{x}-{\mathbf{\mu }}_1)+(\mathbf{x}-{\mathbf{\mu }}_2{)}^T{\mathbf{\Sigma }}_2^{-1}(\mathbf{x}-{\mathbf{\mu }}_2)\right]\right)$$

这个结果是一个关于 $\mathbf{x}$的函数，但它不是一个高斯分布，因为它的指数部分不是 $\mathbf{x}$ 的二次型，且分母中的协方差矩阵的乘积也不是一个协方差矩阵。

要化简两个高斯分布的概率密度函数（PDF）的乘积，我们从以下表达式开始：

$$f(\mathbf{x})=\frac{1}{(2\pi {)}^{D/2}|{\mathbf{\Sigma }}_1{|}^{1/2}|{\mathbf{\Sigma }}_2{|}^{1/2}}\exp \left(-\frac{1}{2}\left[(\mathbf{x}-{\mathbf{\mu }}_1{)}^T{\mathbf{\Sigma }}_1^{-1}(\mathbf{x}-{\mathbf{\mu }}_1)+(\mathbf{x}-{\mathbf{\mu }}_2{)}^T{\mathbf{\Sigma }}_2^{-1}(\mathbf{x}-{\mathbf{\mu }}_2)\right]\right)$$

我们的目标是将指数部分合并为一个关于 $\mathbf{x}$ 的二次型。这可以通过完成平方来实现。让我们逐步进行：

1. 展开指数部分：

$$(\mathbf{x}-{\mathbf{\mu }}_1{)}^T{\mathbf{\Sigma }}_1^{-1}(\mathbf{x}-{\mathbf{\mu }}_1)+(\mathbf{x}-{\mathbf{\mu }}_2{)}^T{\mathbf{\Sigma }}_2^{-1}(\mathbf{x}-{\mathbf{\mu }}_2)$$

2. 合并项：

$$={\mathbf{x}}^T{\mathbf{\Sigma }}_1^{-1}\mathbf{x}-2{\mathbf{x}}^T{\mathbf{\Sigma }}_1^{-1}{\mathbf{\mu }}_1+{\mathbf{\mu }}_1^T{\mathbf{\Sigma }}_1^{-1}{\mathbf{\mu }}_1+{\mathbf{x}}^T{\mathbf{\Sigma }}_2^{-1}\mathbf{x}-2{\mathbf{x}}^T{\mathbf{\Sigma }}_2^{-1}{\mathbf{\mu }}_2+{\mathbf{\mu }}_2^T{\mathbf{\Sigma }}_2^{-1}{\mathbf{\mu }}_2$$

3. 合并 (\mathbf{x}^T) 项：

$$={\mathbf{x}}^T({\mathbf{\Sigma }}_1^{-1}+{\mathbf{\Sigma }}_2^{-1})\mathbf{x}-2{\mathbf{x}}^T({\mathbf{\Sigma }}_1^{-1}{\mathbf{\mu }}_1+{\mathbf{\Sigma }}_2^{-1}{\mathbf{\mu }}_2)+{\mathbf{\mu }}_1^T{\mathbf{\Sigma }}_1^{-1}{\mathbf{\mu }}_1+{\mathbf{\mu }}_2^T{\mathbf{\Sigma }}_2^{-1}{\mathbf{\mu }}_2$$

4. 完成平方：

为了完成平方，我们需要找到一个矩阵 $\mathbf{\Sigma }$ 和一个向量 $\mathbf{\mu }$ 使得：

$${\mathbf{x}}^T({\mathbf{\Sigma }}_1^{-1}+{\mathbf{\Sigma }}_2^{-1})\mathbf{x}-2{\mathbf{x}}^T({\mathbf{\Sigma }}_1^{-1}{\mathbf{\mu }}_1+{\mathbf{\Sigma }}_2^{-1}{\mathbf{\mu }}_2)=(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })$$

其中，$\mathbf{\mu }$ 和 $\mathbf{\Sigma }$ 可以通过解以下方程得到：

$${\mathbf{\Sigma }}^{-1}={\mathbf{\Sigma }}_1^{-1}+{\mathbf{\Sigma }}_2^{-1}$$

$$\mathbf{\mu }=\mathbf{\Sigma }({\mathbf{\Sigma }}_1^{-1}{\mathbf{\mu }}_1+{\mathbf{\Sigma }}_2^{-1}{\mathbf{\mu }}_2)$$

5. 代入并化简：

将 $\mathbf{\Sigma }$和 $\mathbf{\mu }$代入原式，我们得到：

$$f(\mathbf{x})=\frac{1}{(2\pi {)}^{D/2}|{\mathbf{\Sigma }}_1{|}^{1/2}|{\mathbf{\Sigma }}_2{|}^{1/2}}\exp \left(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })+\text{常数项}\right)$$

其中，常数项包括：

$${\mathbf{\mu }}_1^T{\mathbf{\Sigma }}_1^{-1}{\mathbf{\mu }}_1+{\mathbf{\mu }}_2^T{\mathbf{\Sigma }}_2^{-1}{\mathbf{\mu }}_2-{\mathbf{\mu }}^T{\mathbf{\Sigma }}^{-1}\mathbf{\mu }$$

因此，最终化简后的表达式为：

$$f(\mathbf{x})=\frac{1}{(2\pi {)}^{D/2}|\mathbf{\Sigma }{|}^{1/2}}\exp \left(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })+\text{常数项}\right)$$

这是一个关于 $\mathbf{x}$ 的二次型，其中 $\mathbf{\mu }$ 和 $\mathbf{\Sigma }$ 由上述方程确定。

5. 常数项化简：
   因为$\mathbf{\mu }=\mathbf{\Sigma }({\mathbf{\Sigma }}_1^{-1}{\mathbf{\mu }}_1+{\mathbf{\Sigma }}_2^{-1}{\mathbf{\mu }}_2)$，所以
   $$\begin{array}{rl}{\mathbf{\mu }}^T{\mathbf{\Sigma }}^{-1}\mathbf{\mu }& ={\mathbf{\mu }}^T({\mathbf{\Sigma }}_1^{-1}{\mathbf{\mu }}_1+{\mathbf{\Sigma }}_2^{-1}{\mathbf{\mu }}_2)\\ & =({\mathbf{\mu }}_1^T{\mathbf{\Sigma }}_1^{-1}+{\mathbf{\mu }}_2^T{\mathbf{\Sigma }}_2{)}^{-1}\mathbf{\Sigma }({\mathbf{\Sigma }}_1^{-1}{\mathbf{\mu }}_1+{\mathbf{\Sigma }}_2^{-1}{\mathbf{\mu }}_2)\\ & ={\mathbf{\mu }}_1^T{\mathbf{\Sigma }}_1^{-1}\mathbf{\Sigma }{\mathbf{\Sigma }}_1^{-1}{\mathbf{\mu }}_1+{\mathbf{\mu }}_2^T{\mathbf{\Sigma }}_2^{-1}\mathbf{\Sigma }{\mathbf{\Sigma }}_2^{-1}{\mathbf{\mu }}_2+2{\mathbf{\mu }}_1^T{\mathbf{\Sigma }}_1^{-1}\mathbf{\Sigma }{\mathbf{\Sigma }}_2^{-1}{\mathbf{\mu }}_2\end{array}$$
   进一步，结合${\mathbf{\mu }}_1^T{\mathbf{\Sigma }}_1^{-1}{\mathbf{\mu }}_1+{\mathbf{\mu }}_2^T{\mathbf{\Sigma }}_2^{-1}{\mathbf{\mu }}_2-{\mathbf{\mu }}^T{\mathbf{\Sigma }}^{-1}\mathbf{\mu }$，我们可以把常数项分成一下三部分

$$\begin{array}{rl}(i):& {\mathbf{\mu }}_1^T\left({\mathbf{\Sigma }}_1^{-1}-{\mathbf{\Sigma }}_1^{-1}\mathbf{\Sigma }{\mathbf{\Sigma }}_1^{-1}\right){\mathbf{\mu }}_1\\ (ii):& {\mathbf{\mu }}_2^T\left({\mathbf{\Sigma }}_2^{-1}-{\mathbf{\Sigma }}_2^{-1}\mathbf{\Sigma }{\mathbf{\Sigma }}_2^{-1}\right){\mathbf{\mu }}_2\\ (iii):& -2{\mathbf{\mu }}_1^T{\mathbf{\Sigma }}_1^{-1}\mathbf{\Sigma }{\mathbf{\Sigma }}_2^{-1}{\mathbf{\mu }}_2\end{array}$$
利用Woodbury矩阵恒等式的相关性质，我们得到：
$$\text{常数项}=-\frac{1}{2}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^T({\mathbf{\Sigma }}_1+{\mathbf{\Sigma }}_2{)}^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2)$$

最后，我们利用行列式的相关性质，得到如下结论。

结论

$$\begin{array}{rl}& \mathcal{N}(\mathbf{x};{\mathbf{\mu }}_1,{\mathbf{\Sigma }}_1)\cdot \mathcal{N}(\mathbf{x};{\mathbf{\mu }}_2,{\mathbf{\Sigma }}_2)\\ & =\mathcal{N}({\mathbf{\mu }}_1;{\mathbf{\mu }}_2,{\mathbf{\Sigma }}_1+{\mathbf{\Sigma }}_2)\cdot \mathcal{N}(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma })\end{array}$$
其中
$$\begin{array}{rl}{\mathbf{\Sigma }}^{-1}& ={\mathbf{\Sigma }}_1^{-1}+{\mathbf{\Sigma }}_2^{-1}\\ \mathbf{\mu }& =\mathbf{\Sigma }({\mathbf{\Sigma }}_1^{-1}{\mathbf{\mu }}_1+{\mathbf{\Sigma }}_2^{-1}{\mathbf{\mu }}_2)\end{array}$$
或者
$$\begin{array}{rl}\mathbf{\mu }& ={\mathbf{\Sigma }}_2({\mathbf{\Sigma }}_1+{\mathbf{\Sigma }}_2{)}^{-1}{\mathbf{\Sigma }}_1\cdot {\mathbf{\Sigma }}_1^{-1}{\mathbf{\mu }}_1+{\mathbf{\Sigma }}_1({\mathbf{\Sigma }}_1+{\mathbf{\Sigma }}_2{)}^{-1}{\mathbf{\Sigma }}_2\cdot {\mathbf{\Sigma }}_2^{-1}{\mathbf{\mu }}_2)\\ & ={\mathbf{\Sigma }}_2({\mathbf{\Sigma }}_1+{\mathbf{\Sigma }}_2{)}^{-1}{\mathbf{\mu }}_1+{\mathbf{\Sigma }}_1({\mathbf{\Sigma }}_1+{\mathbf{\Sigma }}_2{)}^{-1}{\mathbf{\mu }}_2\end{array}$$