最小二乘法通过最小化误差（真实$y_i$与拟合函数生成的$\widehat{y_i}$的差）的平方和从而寻找拟合数据最佳的函数。

对于数据 $(x_1,y_1),(x_2,y_2),...,(x_i,y_i)(i=1,2,3,..,m)$，拟合出函数$h(x)$。一般来讲$h(x)$为n次多项式，$h(x)=w_0+w_{1}x+w_2{x}^2+...w_n{x}^n$，其中$(w_0,w_1,...,w_n)$是函数的参数。

最小二乘法的目的是找到一组$(w_0,w_1,...,w_n)$，使得${\sum }_{i=1}^n(h(x_i)-y_i{)}^2$最小。–> $min{\sum }_{i=1}^n(h(x_i)-y_i{)}^2$

想要求的一组$(w_0,w_1,...,w_n)$使得误差${\sum }_{i=1}^n(h(x_i)-y_i{)}^2$最小，及求误差函数的极小值点（偏导数为0的点）。

举个例子：
$$\begin{gathered} f(x;w)=w_0+w_{1}x \\ Loss(y,f(x;w))=(y-f(x;w){)}^2 \\ 这里的平方是为了方便求导运算。 \\ {J}_n(w)=\sum _{i=1}^n(y_i-w_0-w_1{x}_i{)}^2/2 \\ 为了求极值，则对w_0,w_1分别求偏导。 \end{gathered}$$
$$\{\begin{array}{l}\frac{\partial }{\partial w_0}{J}_n(w)=-{\sum }_{i=1}^n(y_i-w_0-w_1{x}_i)=0\\ \frac{\partial }{\partial w_1}{J}_n(w)=-{\sum }_{i=1}^n(y_i-w_0-w_1{x}_i)x_i=0\end{array}$$
$$\{\begin{array}{l}{w}_0({\sum }_{i=1}^{n}1)+w_1({\sum }_{i=1}^n{x}_i)={\sum }_{i=1}^n{y}_i\\ w_0({\sum }_{i=1}^n{x}_i)+w_1({\sum }_{i=1}^n{x}_i^2)={\sum }_{i=1}^n{y}_i{x}_i\end{array}$$
$$\left[\begin{array}{cc}{\sum }_{i=1}^{n}1& {\sum }_{i=1}^n{x}_i\\ {\sum }_{i=1}^n{x}_i& {\sum }_{i=1}^n{x}_i^2\end{array}\right]\left[\begin{array}{c}{w}_0\\ w_1\end{array}\right]=\left[\begin{array}{c}{\sum }_{i=1}^n{y}_i\\ {\sum }_{i=1}^n{y}_i{x}_i\end{array}\right]$$

$$\begin{gathered} 要求w，及求\varphi \cdot \hat{w}=b中的\hat{w}。 \\ \hat{w}={\varphi }^{-1}\cdot b \end{gathered}$$
矩阵形式：
$$J=\frac{1}{2}||Y-Xw|{|}^2=\frac{1}{2}{\left|\left|\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_n\end{array}\right]-\left[\begin{array}{cc}1& x_1\\ 2& x_2\\ ...& \\ 3& x_3\end{array}\right]\cdot \left[\begin{array}{c}{w}_0\\ w_1\end{array}\right]\right|\right|}^2$$
$$\begin{array}{rl}||Y-Xw|{|}^2& =(Y-Xw{)}^T(Y-Xw)\\ & =Y^{T}Y-x^T{X}^{T}Y-Y^{T}Xw+w^T{X}^{T}Xw\\ & =Y^{T}Y-2w^T{X}^{T}Y+w^T{X}^{T}Xw\end{array}$$
$$\frac{\partial J}{\partial w}=-X^{T}Y+X^{T}Xw=0$$
$$w=(X^{T}X{)}^{-1}{X}^{T}Y$$

python实现最小二乘法

import numpy as np
import scipy as sp
from scipy.optimize import leastsq
import matplotlib.pyplot as plt
%matplotlib inline

# 创建目标函数
def func(x):
    return np.sin(2*np.pi*x)

# 预设一个用于拟合的多项式
def fit_func(p, x):
    f = np.poly1d(p)
    return f(x)

# 定义误差
def error(p, x, y):
    err = fit_func(p, x) - y
    return err

# 十个点
x = np.linspace(0, 1, 10)
x_points = np.linspace(0, 1, 1000)
# 加上正态分布噪音的目标函数的值
y_ = func(x)
y = [np.random.normal(0, 0.1) + y1 for y1 in y_]


def fitting(M=0):
    """
    M    为 多项式的次数
    """
    # 随机初始化多项式参数
    p_init = np.random.rand(M + 1)
    # 最小二乘法
    p_lsq = leastsq(error, p_init, args=(x, y))
    print('Fitting Parameters:', p_lsq[0])

    # 可视化
    plt.plot(x_points, func(x_points), label='real')
    plt.plot(x_points, fit_func(p_lsq[0], x_points), label='fitted curve')
    plt.plot(x, y, 'bo', label='noise')
    plt.legend()
    return p_lsq

# M=3
p_lsq_3 = fitting(M=3)

详细代码文件：python代码文件。