最小二乘法详细总结

1. 最小二乘法的定义

最小二乘法（Least Squares Method）是一种常用于拟合数据的数学优化方法。其目标是在已知数据点的基础上，构建一个最佳拟合模型，使得模型的预测值与实际观测值之间的误差（残差）的平方和最小化。最小二乘法广泛应用于线性回归、非线性回归、信号处理和数据拟合等多个领域。

---

2. 最小二乘法的基本思想

最小二乘法的核心思想是最小化数据点的残差平方和。假设有一组数据点 (xi,yi)(x_i, y_i)(xi​,yi​) 以及一个模型 y^i=f(xi,β)\hat{y}_i = f(x_i, \beta)y^​i​=f(xi​,β)，其中 y^i\hat{y}_iy^​i​ 是根据模型预测的值，β\betaβ 是待求的模型参数。

目标是找到参数 β\betaβ，使得实际观测值 yiy_iyi​ 与预测值 y^i\hat{y}_iy^​i​ 之间的误差平方和最小化。其目标函数可以表示为：

S=∑i=1n(yi−y^i)2=∑i=1n(yi−f(xi,β))2S = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 = \sum_{i=1}^{n} (y_i - f(x_i, \beta))^2S=i=1∑n​(yi​−y^​i​)2=i=1∑n​(yi​−f(xi​,β))2

最小化这个目标函数 SSS 的过程就是最小二乘法的本质。

---

3. 最小二乘法的数学推导

以线性回归为例，假设模型是线性的，形式为：

y^i=β0+β1xi\hat{y}_i = \beta_0 + \beta_1 x_iy^​i​=β0​+β1​xi​

其中，β0\beta_0β0​ 是截距，β1\beta_1β1​ 是斜率，xix_ixi​ 是自变量。

目标函数：

S=∑i=1n(yi−(β0+β1xi))2S = \sum_{i=1}^{n} (y_i - (\beta_0 + \beta_1 x_i))^2S=i=1∑n​(yi​−(β0​+β1​xi​))2

最小化目标函数 SSS，我们可以对 β0\beta_0β0​ 和 β1\beta_1β1​ 分别求导，并设导数为 0，得到一组关于 β0\beta_0β0​ 和 β1\beta_1β1​ 的方程组。这就是最小二乘法的法方程，通过解这组方程可以求出最佳拟合的模型参数。

---

4. 最小二乘法在线性回归中的应用

步骤：

1. 模型假设： 在线性回归中，假设目标函数为 y^i=β0+β1xi\hat{y}_i = \beta_0 + \beta_1 x_iy^​i​=β0​+β1​xi​。

2. 目标函数（损失函数）： 为了最小化预测值和真实值的误差平方和，定义损失函数：

   S(β0,β1)=∑i=1n(yi−(β0+β1xi))2S(\beta_0, \beta_1) = \sum_{i=1}^{n} (y_i - (\beta_0 + \beta_1 x_i))^2S(β0​,β1​)=i=1∑n​(yi​−(β0​+β1​xi​))2

3. 最优化： 通过求导数并令其等于零，找到 β0\beta_0β0​ 和 β1\beta_1β1​ 的值，从而得到使误差最小的模型参数。

4. 解析解： 最终可以得到 β0\beta_0β0​ 和 β1\beta_1β1​ 的解析解：

   β1=n∑xiyi−∑xi∑yin∑xi2−(∑xi)2\beta_1 = \frac{n\sum{x_iy_i} - \sum{x_i} \sum{y_i}}{n\sum{x_i^2} - (\sum{x_i})^2}β1​=n∑xi2​−(∑xi​)2n∑xi​yi​−∑xi​∑yi​​ β0=∑yi−β1∑xin\beta_0 = \frac{\sum{y_i} - \beta_1 \sum{x_i}}{n}β0​=n∑yi​−β1​∑xi​​

结果：

通过最小二乘法，可以得到线性模型的参数 β0\beta_0β0​ 和 β1\beta_1β1​，这组参数定义了一条与数据最拟合的直线。

---

5. 扩展：非线性回归中的最小二乘法

最小二乘法不仅仅适用于线性模型，对于非线性回归模型同样可以使用。例如，当模型是多项式回归或其他更复杂的非线性模型时，最小二乘法同样适用。唯一的区别是，非线性回归通常无法直接求解析解，必须使用数值优化算法（如梯度下降法）来最小化误差平方和。

---

6. 最小二乘法的优缺点

优点：

• 简单易用： 最小二乘法基于简单的数学原理，易于理解和实现。
• 高效： 对于线性模型，最小二乘法有解析解，计算非常高效。
• 普适性强： 最小二乘法适用于多种类型的模型，包括线性和非线性回归。

缺点：

• 对离群点敏感： 由于最小二乘法最小化的是平方误差，离群点的影响会被放大，容易导致模型受离群点影响较大。
• 假设残差正态性： 最小二乘法假设误差是独立且服从正态分布的，这在实际中不一定成立。
• 多重共线性问题： 在多元回归中，当自变量之间存在较强的相关性时，最小二乘法估计的参数可能会不稳定。

---

7. 最小二乘法的改进与扩展

1. 加权最小二乘法（WLS, Weighted Least Squares）

当数据点的方差不同时，可以对每个数据点引入权重，使用加权最小二乘法：

S=∑i=1nwi(yi−y^i)2S = \sum_{i=1}^{n} w_i (y_i - \hat{y}_i)^2S=i=1∑n​wi​(yi​−y^​i​)2

其中 wiw_iwi​ 是第 iii 个点的权重。

2. 鲁棒回归（Robust Regression）

针对离群点对最小二乘法的敏感性问题，可以使用鲁棒回归方法，如 Huber 损失函数，来减少离群点对模型的影响。

3. 岭回归（Ridge Regression）

当自变量之间存在多重共线性时，可以使用岭回归（L2 正则化）对参数进行约束，解决参数不稳定的问题：

S=∑i=1n(yi−y^i)2+λ∑j=1pβj2S = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 + \lambda \sum_{j=1}^{p} \beta_j^2S=i=1∑n​(yi​−y^​i​)2+λj=1∑p​βj2​

其中 λ\lambdaλ 是正则化参数。

4. 偏最小二乘回归（PLS, Partial Least Squares）

偏最小二乘法适用于自变量和因变量之间存在较强相关性的情况，通过将自变量投影到新的子空间来进行回归。

---

8. 最小二乘法的应用场景

• 回归分析： 在统计学中，最小二乘法常用于线性回归和多元回归，以求解回归模型的参数。
• 信号处理： 最小二乘法用于拟合信号中的趋势线，从噪声中提取有用信号。
• 机器学习： 机器学习中的线性回归、岭回归等模型都可以通过最小二乘法来求解。
• 物理和工程： 最小二乘法在曲线拟合中被广泛应用，用来处理实验数据并找到最优拟合曲线。

---

9. 总结

最小二乘法是一种强大的优化工具，适用于广泛的领域。它通过最小化误差平方和来拟合模型，能够高效地求解线性回归问题。尽管最小二乘法具有简单易用和高效的优点，但它对离群点和多重共线性问题较为敏感。因此，在实际应用中，可以结合加权最小二乘法、鲁棒回归或岭回归等方法来改进和扩展其应用效果。

来源：https://zh.wikipedia.org/wiki/%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E6%B3%95#%E6%96%B9%E6%B3%95