前言

最小二乘法（Least Squares Method）是一种数学优化技术，它的核心思想是：找到一组参数，使得模型预测值与真实值之间的误差平方和最小。

想象你在平面上有一些散点，想画一条直线来拟合这些点。每个点到直线的垂直距离就是“误差”。最小二乘法就是要找到一条直线，让所有点到直线的垂直距离的平方和最小。

公式与使用

针对二维线性分布的数据，我们需要得出一条直线：

$$y=kx+b$$

关键的工作就是用一个合适的方法来得到更加贴近现实需求的系数 k 和 b 。最小二乘法的使用的是原始数据到直线差值（这里指 Δy ）的平方和最小。

可以推导出结果如下：

$$k=\frac{n\sum x_i{y}_i-\sum x_i\sum y_i}{n\sum x_i^2-(\sum x_i{)}^2}$$

$$b=\frac{\sum x_i^2\sum y_i-\sum x_i\sum x_i{y}_i}{n\sum x_i^2-(\sum x_i{)}^2}$$

$$\begin{gathered} n是数据点的个数，\sum x_i表示所有x_i的和，\sum y_i表示所有y_i的和， \\ \sum x_i^2表示所有x_i^2的和，\sum x_i{y}_i表示所有x_i{y}_i的和。 \end{gathered}$$

示例计算

现有数据（x, y） ：(2, 2.2) (3, 3.8) (4, 5.5) (5, 6.5) (6, 7.0)。

可以计算出中间数据：

然后带入前面公式计算出 k=1.23 和 b=0.08 。

代码实现（Python）

import numpy as np
import matplotlib.pyplot as plt

# 示例数据
points = [(2, 2.2), (3, 3.8), (4, 5.5), (5, 6.5), (6, 7.0)]
x = np.array([p[0] for p in points])
y = np.array([p[1] for p in points])

# 计算参数k和b

# 方法一
n = len(x)
sum_x = np.sum(x)
sum_y = np.sum(y)
sum_x2 = np.sum(x**2)
sum_xy = np.sum(x * y)
k = (n * sum_xy - sum_x * sum_y) / (n * sum_x2 - sum_x**2)
b = (sum_x2 * sum_y - sum_x * sum_xy) / (n * sum_x2 - sum_x**2)

# 方法二
# p = np.polyfit(x, y, 1) # 线性拟合
# k, b = p

# 输出结果
print(f'm = {k}')
print(f'b = {b}') 

# 绘制数据
y_fit = k * x + b
plt.scatter(x, y, color='blue')
plt.plot(x, y_fit, color='red', label=f'y = {k:.2f}x + {b:.2f}')
plt.xlabel('x')
plt.ylabel('y')
plt.legend()
plt.show() 

缺点

最小二乘法有完整的统计理论支持，计算简单，但是对数据中的异常值很敏感（平方项放大了异常值的影响）。这种情况下稳健回归（Theil Sen，RANSAC，Huber）方法表现会更好。