对于深度学习，拥有百万级别的参数的神经网络，使用梯度下降中计算梯度的方法一个一个更新参数找到最优参数的效率低。所以引入新的算法

继续使用前面计算梯度的方法（数值微分法）：

• 对于100万个参数，计算着100万个参数的梯度需要跑100万次。每次只改变一个参数的值，保持其余参数值不变得到$l$ 后计算梯度。使用反向传播就只需要前向传播一次就能够得到所有参数的梯度（后面解释）。
  反向传播（Backpropagation）可以让你计算梯度的向量时，有效率的计算出来。

链式法则

反向传播主要用到链式法则：
对于case2:背后的逻辑是线性近似。当 $s$ 有一个微小的变化 $\Delta s$ 时，$z$ 的总变化量 $\Delta z$ 等于各条路径贡献的变化量之和：
$$\frac{dz}{ds}=\frac{\partial z}{\partial x}\frac{dx}{ds}+\frac{\partial z}{\partial y}\frac{dy}{ds}$$

反向传播

• 损失函数（Loss function）：定义在单个训练样本上。
• 代价函数（cost function）：定义在整个训练集上，是所有样本的误差的综合的平均$\to$ 损失函数总和的平均。
• 总体损失函数（total loss function）：定义整个训练集上，所有样本误差的总和。（反向传播需要最小化的值）
  

对于$L(\theta )$就是所有$l^n$的损失之和。根据链式法则中的case2化为对每个损失函数的偏微分之和。
先在整个神经网络中抽取一小部分的神经（Neuron）：

取其中一个神经元（Neuron）分析：

计算梯度分为两个部分（链式法则）：

• 计算$\frac{\partial z}{\partial w}$（Forward pass的部分）
• 计算$\frac{\partial l}{\partial z}$ ( Backward pass的部分 )

前向传播（Forward pass）

$\frac{\partial z}{\partial w}$：根据目前的式子，$$\begin{gathered} \frac{\partial z}{\partial w_1}=x_1 \\ \frac{\partial z}{\partial w_2}=x_2 \end{gathered}$$

反向传播（Back Pass)

计算 $\frac{\partial l}{\partial z}$ 部分复杂一些，因为$l$是最后一层才能计算出来：

激活函数以sigmoid函数为例：
$\frac{\partial l}{\partial a}={\sigma }^{\prime }(z)$

最终化简结果：

1. 对于$\frac{\partial l}{\partial z^{\prime }}$和$\frac{\partial l}{\partial z^{\prime \prime }}$是最后一层的隐藏层
   

能够直接计算出$\frac{\partial l}{\partial z^{\prime }}$和$\frac{\partial l}{\partial z^{\prime \prime }}$
2. 对于$\frac{\partial l}{\partial z^{\prime }}$和$\frac{\partial l}{\partial z^{\prime \prime }}$是不是最后一层的隐藏层

我们就需要继续往后面计算，知道遇到输出层，然后从后往前计算得到$\frac{\partial l}{\partial w}$
所以对于：

采用这样的计算方法：

实际上进行反向传播的时候和前向传播的计算量差不多

总结

通过计算$\frac{\partial z}{\partial w}$（Forward pass的部分）和计算$\frac{\partial l}{\partial z}$ ( Backward pass的部分 )，然后把$\frac{\partial z}{\partial w}$和$\frac{\partial l}{\partial z}$相乘，得到$\frac{\partial l}{\partial w}$ 。得到所有神经网络中所有参数的梯度，然后就可以使用梯度下降的算法不断更新参数得到损失最小的函数。