神经网络与深度学习课程总结：从线性模型到 BP 误差反向传播算法

摘要

本周学习内容主要围绕神经网络的基础模型与训练方法展开，包括线性回归、线性分类、Logistic 回归、Softmax 多分类、神经元模型、感知机、多层感知机以及 BP 误差反向传播算法。整体来看，这些内容可以统一理解为“线性加权、非线性映射、参数优化”的过程。

神经网络的基本计算流程可以概括为：

$$\mathbf{x}\to z={\mathbf{w}}^T\mathbf{x}+b\to a=f(z)\to \hat{y}$$

其中，$\mathbf{x}$ 表示输入特征，$\mathbf{w}$ 表示权值，$b$ 表示偏置，$f(z)$ 表示作用函数或激活函数，$\hat{y}$ 表示模型输出。

---

1. 线性回归

线性回归用于描述输入变量与连续输出变量之间的关系。对于单变量情形，模型可以写为：

$$y=kx+b$$

对于多变量情形，可将输入和参数分别写为：

$$\mathbf{x}=(1,x_1,x_2,\cdots ,x_n{)}^T$$

$$\theta =({\theta }_0,{\theta }_1,{\theta }_2,\cdots ,{\theta }_n{)}^T$$

线性回归模型为：

$$h_{\theta }(\mathbf{x})={\theta }^T\mathbf{x}$$

给定训练集：

$$D=\{({\mathbf{x}}^{(i)},y^{(i)}){\}}_{i=1}^N$$

平方误差损失函数为：

$$J(\theta )=\frac{1}{2}\sum _{i=1}^N{\left[y^{(i)}-h_{\theta }({\mathbf{x}}^{(i)})\right]}^2$$

优化目标为：

$$\underset{\theta }{\min }J(\theta )$$

将损失函数写成矩阵形式：

$$J(\theta )=\frac{1}{2}\Vert \mathbf{y}-X\theta {\Vert }_2^2$$

展开后为：

$$J(\theta )=\frac{1}{2}(\mathbf{y}-X\theta {)}^T(\mathbf{y}-X\theta )$$

对参数求梯度：

$${\nabla }_{\theta }J(\theta )=X^{T}X\theta -X^T\mathbf{y}$$

令梯度为零：

$$X^{T}X\theta =X^T\mathbf{y}$$

若 $X^{T}X$ 可逆，则得到解析解：

$$\theta =(X^{T}X{)}^{-1}{X}^T\mathbf{y}$$

线性回归适合连续值预测。当特征维度较低且矩阵可逆时，可以使用解析解；当数据规模较大或矩阵不可逆时，通常使用梯度下降等迭代方法。

---

2. 线性分类与 Logistic 回归

线性分类与线性回归具有相同的线性打分形式：

$$z={\theta }^T\mathbf{x}$$

区别在于，线性回归直接输出连续值，而分类任务需要输出类别标签或类别概率。二分类问题的分类边界为：

$${\theta }^T\mathbf{x}=0$$

当线性打分大于等于零时，样本可划分为正类；当线性打分小于零时，样本可划分为负类。

由于线性函数输出范围是整个实数域，而概率必须位于 0 到 1 之间，因此二分类问题中通常引入 Sigmoid 函数：

$$\sigma (z)=\frac{1}{1+e^{-z}}$$

令：

$$h_{\theta }(\mathbf{x})=\sigma ({\theta }^T\mathbf{x})$$

即：

$$h_{\theta }(\mathbf{x})=\frac{1}{1+e^{-{\theta }^T\mathbf{x}}}$$

此时模型输出可以解释为样本属于正类的概率：

$$P(y=1|\mathbf{x};\theta )=h_{\theta }(\mathbf{x})$$

$$P(y=0|\mathbf{x};\theta )=1-h_{\theta }(\mathbf{x})$$

Sigmoid 函数的导数为：

$${\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))$$

Logistic 回归常用交叉熵损失函数：

$$J(\theta )=-\sum _{i=1}^N\left[y^{(i)}\log h_{\theta }({\mathbf{x}}^{(i)})+(1-y^{(i)})\log (1-h_{\theta }({\mathbf{x}}^{(i)}))\right]$$

参数更新公式为：

$$\theta \leftarrow \theta -\alpha {\nabla }_{\theta }J(\theta )$$

其中，$\alpha$ 为学习率，用于控制每次参数更新的步长。

---

3. Softmax 多分类回归

当任务从二分类扩展到多分类时，可以使用 Softmax 函数。假设共有 $K$ 个类别，第 $k$ 类的线性打分为：

$$z_k=({\theta }^{(k)}{)}^T\mathbf{x}$$

Softmax 将各类别打分转化为概率：

$$P(y=k|\mathbf{x};\theta )=\frac{\exp (z_k)}{{\sum }_{j=1}^K\exp (z_j)}$$

Softmax 输出满足：

$${\hat{y}}_k>0$$

$$\sum _{k=1}^K{\hat{y}}_k=1$$

因此，Softmax 输出可以看作样本属于各个类别的概率分布。

对于 one-hot 标签，多分类交叉熵损失函数为：

$$L(y,\hat{y})=-\sum _{k=1}^K{y}_k\log ({\hat{y}}_k)$$

其中，$y_k$ 表示第 $k$ 类的真实标签，${\hat{y}}_k$ 表示模型预测样本属于第 $k$ 类的概率。

Sigmoid 主要用于二分类概率建模，Softmax 更适合互斥多分类问题。

---

4. 神经元模型

神经元是神经网络的基本计算单元。人工神经元首先对输入信号进行加权求和，然后减去阈值，最后通过作用函数产生输出。

M-P 神经元模型可以写为：

$$z=\sum _{j=1}^n{w}_j{x}_j-\theta$$

$$y=f(z)$$

其中，$x_j$ 表示输入，$w_j$ 表示连接权值，$\theta$ 表示阈值，$f(z)$ 表示作用函数。

若将阈值吸收到偏置项中，可以令：

$$x_0=1$$

$$w_0=-\theta$$

于是神经元模型可写为：

$$z={\mathbf{w}}^T\mathbf{x}$$

$$y=f({\mathbf{w}}^T\mathbf{x})$$

因此，神经元模型可以理解为“线性加权和 + 作用函数”。常见作用函数包括阶跃函数、符号函数和 Sigmoid 函数。

阶跃函数可表示为：

$$f(x)=\{\begin{array}{l}1,x\ge 0\\ 0,x<0\end{array}$$

符号函数可表示为：

$$sign(x)=\{\begin{array}{l}+1,x\ge 0\\ -1,x<0\end{array}$$

Sigmoid 函数为：

$$\sigma (x)=\frac{1}{1+e^{-x}}$$

Hebb 学习规则可以写为：

$$\Delta w=\alpha xy$$

该规则体现了“同时激活的神经元之间连接增强”的思想。

---

5. 感知机模型

感知机是典型的线性二分类模型，其输出为：

$$\hat{y}=sign({\mathbf{w}}^T\mathbf{x}+b)$$

分类超平面为：

$${\mathbf{w}}^T\mathbf{x}+b=0$$

若样本被正确分类，则满足：

$$y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)>0$$

若样本被误分类，则满足：

$$y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)\le 0$$

对于误分类样本，感知机采用如下更新规则：

$$w_{k+1}=w_k+\eta y_i{x}_i$$

若考虑偏置项，则偏置更新为：

$$b_{k+1}=b_k+\eta y_i$$

其中，$w_k$ 表示第 $k$ 次迭代时的权值向量，$x_i$ 表示第 $i$ 个训练样本，$y_i$ 表示对应类别标签，$\eta$ 表示学习率。

$$b_{k+1}=b_k+\eta y^{(i)}$$

其中，$\eta$ 为学习率。感知机通过误分类样本不断调整分类超平面，但其主要局限是只能解决线性可分问题。对于 XOR 等线性不可分问题，单层感知机无法完成正确分类。

---

6. 多层感知机

为了增强模型表达能力，可以在输入层和输出层之间加入一个或多个隐含层，形成多层感知机。

其基本结构为：

输入层 → 隐含层 → 输出层

对于一层隐含层网络，可以写为：

$${\mathbf{a}}^{[0]}=\mathbf{x}$$

$${\mathbf{z}}^{[1]}=W^{[1]}{\mathbf{a}}^{[0]}+{\mathbf{b}}^{[1]}$$

$${\mathbf{a}}^{[1]}=f({\mathbf{z}}^{[1]})$$

$${\mathbf{z}}^{[2]}=W^{[2]}{\mathbf{a}}^{[1]}+{\mathbf{b}}^{[2]}$$

$$\hat{\mathbf{y}}={\mathbf{a}}^{[2]}=g({\mathbf{z}}^{[2]})$$

多层感知机的关键在于，隐含层能够对输入进行非线性变换，使原本线性不可分的问题在新的表示空间中变得可分。

以 XOR 问题为例，其输入输出关系为：

x1	x2	y
0	0	0
1	0	1
0	1	1
1	1	0

XOR 无法用单条直线完成分类，但可以通过两个隐含节点实现：

$$a_1^{[1]}=f(x_1+x_2-0.5)$$

$$a_2^{[1]}=f(-x_1-x_2+1.5)$$

输出节点为：

$$\hat{y}=f(a_1^{[1]}+a_2^{[1]}-1.2)$$

多层感知机并不是简单增加神经元数量，而是通过隐含层构造新的特征表达。

---

7. BP 误差反向传播算法

BP 算法用于训练多层前馈神经网络，其核心是利用链式法则逐层计算梯度。

7.1 前向传播

对于 $L$ 层前馈神经网络，前向传播过程为：

$${\mathbf{a}}^{[0]}=\mathbf{x}$$

$${\mathbf{z}}^{[l]}=W^{[l]}{\mathbf{a}}^{[l-1]}+{\mathbf{b}}^{[l]}$$

$${\mathbf{a}}^{[l]}=f^{[l]}({\mathbf{z}}^{[l]})$$

最终输出为：

$$\hat{\mathbf{y}}={\mathbf{a}}^{[L]}$$

7.2 损失函数

若采用平方误差损失：

$$J=\frac{1}{2}\Vert \mathbf{y}-\hat{\mathbf{y}}{\Vert }^2$$

分类任务中也常使用交叉熵损失。二分类交叉熵为：

$$J=-[y\log (p)+(1-y)\log (1-p)]$$

其中，$y$ 表示真实标签，$p$ 表示模型预测样本属于正类的概率。

多分类交叉熵为：

$$J=-\sum _{k=1}^K{y}_k\log {\hat{y}}_k$$

7.3 反向传播

定义第 $l$ 层误差项为：

$${\delta }^{[l]}=\frac{\partial J}{\partial {\mathbf{z}}^{[l]}}$$

对于输出层：

$${\delta }^{[L]}=\frac{\partial J}{\partial {\mathbf{a}}^{[L]}}\odot f^{\prime }({\mathbf{z}}^{[L]})$$

若采用平方误差损失，则：

$$\frac{\partial J}{\partial a_L}=a_L-y$$

其中，$a_L$ 表示输出层的网络输出，$y$ 表示真实标签。

因此：

$${\delta }^{[L]}=({\mathbf{a}}^{[L]}-\mathbf{y})\odot f^{\prime }({\mathbf{z}}^{[L]})$$

对于隐含层：

$${\delta }^{[l]}=\left((W^{[l+1]}{)}^T{\delta }^{[l+1]}\right)\odot f^{\prime }({\mathbf{z}}^{[l]})$$

该公式表示：后一层误差通过权值矩阵反传到当前层，再乘以当前层激活函数的导数，得到当前层误差项。

7.4 参数更新

由前向传播公式：

$$z_l=W_l{a}_{l-1}+b_l$$

可得权值梯度：

$$\frac{\partial J}{\partial W_l}={\delta }_l{a}_{l-1}^T$$

偏置梯度为：

$$\frac{\partial J}{\partial b_l}={\delta }_l$$

利用梯度下降更新参数：

$$W_l^{new}=W_l-\alpha \frac{\partial J}{\partial W_l}$$

$$b_l^{new}=b_l-\alpha \frac{\partial J}{\partial b_l}$$

其中，$W_l$ 表示第 $l$ 层的权值矩阵，$b_l$ 表示第 $l$ 层的偏置，$a_{l-1}$ 表示上一层的输出，${\delta }_l$ 表示第 $l$ 层的误差项，$\alpha$ 表示学习率。

其中，$\alpha$ 为学习率。BP 算法可以理解为多层网络中高效计算梯度的方法，而梯度下降则利用这些梯度更新网络参数。

---

8. 课后问题整理与思考

8.1 为什么线性回归可以得到解析解？

线性回归采用平方误差损失时，目标函数关于参数是二次函数。通过对参数求梯度并令梯度为零，可以得到正规方程：

$$X^{T}X\theta =X^T\mathbf{y}$$

若 $X^{T}X$ 可逆，则可得到：

$$\theta =(X^{T}X{)}^{-1}{X}^T\mathbf{y}$$

因此，线性回归在一定条件下可以直接求得解析解。

8.2 为什么分类问题要引入 Sigmoid 函数？

分类任务需要输出类别概率，而线性函数输出范围是整个实数域，不能直接表示概率。Sigmoid 函数可以将任意实数映射到 0 到 1 之间：

$$\sigma (z)=\frac{1}{1+e^{-z}}$$

因此，Logistic 回归可以将 ${\theta }^T\mathbf{x}$ 转换为样本属于正类的概率。

8.3 什么是 Softmax？

Softmax 是多分类任务中的概率归一化函数。它将每个类别的线性打分转换为概率：

$${\hat{y}}_k=\frac{e^{z_k}}{{\sum }_{j=1}^K{e}^{z_j}}$$

Softmax 输出的每一项都大于 0，且所有类别概率之和为 1，因此可以表示样本属于各类别的概率分布。

8.4 M-P 神经元模型与线性回归有什么区别？

线性回归模型为：

$$\hat{y}={\theta }^T\mathbf{x}$$

M-P 神经元模型为：

$$y=f({\mathbf{w}}^T\mathbf{x})$$

二者都包含加权求和结构。不同点在于，线性回归通常直接输出连续预测值，而 M-P 神经元在加权求和后还要经过作用函数，因此可以用于神经元激活、二值决策或非线性映射。

---

9. 本周总结

本周内容完成了从线性模型到神经网络基础训练方法的过渡。线性回归体现了监督学习中的参数估计思想；Logistic 回归和 Softmax 回归将线性模型扩展到概率分类任务；神经元模型将线性加权和作用函数结合起来，构成神经网络的基本单元；感知机通过误分类样本驱动权值更新，但只能解决线性可分问题；多层感知机通过隐含层和非线性激活函数增强表达能力，可以处理 XOR 等线性不可分问题；BP 算法则利用链式法则从输出层向前逐层计算梯度，为多层前馈神经网络提供了有效的训练方法。

整体来看，神经网络训练的本质可以概括为：确定网络结构，定义损失函数，通过前向传播计算预测结果，再通过反向传播和梯度下降不断优化参数。