反向传播算法

来源于https://udlbook.github.io/udlbook/，我不明白初始不从${\mathbf{x}}_0$开始，而是从${\mathbf{z}}_0$开始，不知道怎么想的。

考虑一个深度神经网络$f({\mathbf{x}}_i,\mathbf{\varphi })$，它接受输入${\mathbf{x}}_i$，具有$M$个隐藏层和 ReLU 激活函数，并且有单独的损失项$L_i=L({\mathbf{y}}_i,f({\mathbf{x}}_i,\mathbf{\varphi }))$。反向传播的目标是计算关于偏差${\mathbf{b}}_{\ell }$和权重${\mathbf{W}}_{\ell }$的导数$\frac{\partial L_i}{\partial {\mathbf{b}}_{\ell }}$和$\frac{\partial L_i}{\partial {\mathbf{W}}_{\ell }}$。

前向传递： 计算并存储以下量：

$$\begin{array}{rlr}{\mathbf{z}}_0& ={\mathbf{b}}_0+{\mathbf{W}}_0\mathbf{x}& \\ {\mathbf{x}}_{\ell }& =\mathbf{\phi }({\mathbf{z}}_{\ell -1})& \ell =1,2,\cdots ,M\\ {\mathbf{z}}_{\ell }& ={\mathbf{b}}_{\ell }+{\mathbf{W}}_{\ell }{\mathbf{x}}_{\ell }.& \ell =1,2,\cdots ,M\end{array}$$

反向传递： 从损失函数$L_d$关于网络输出${\mathbf{z}}_M$的导数$\frac{\partial L_d}{\partial {\mathbf{z}}_M}$开始，并在网络中反向工作：

$$\begin{array}{rlr}\frac{\partial L_d}{\partial {\mathbf{b}}_{\ell }}& =\frac{\partial L_d}{\partial {\mathbf{z}}_{\ell }}& \ell =M,M-1,\cdots ,1\\ \frac{\partial L_d}{\partial {\mathbf{W}}_{\ell }}& =\frac{\partial L_d}{\partial {\mathbf{z}}_{\ell }}{\mathbf{x}}_{\ell }^{\top }& \ell =M,M-1,\cdots ,1\\ \frac{\partial L_d}{\partial {\mathbf{z}}_{\ell -1}}& =I({\mathbf{z}}_{\ell -1}>0)\odot \left({\mathbf{W}}_{\ell }^{\top }\frac{\partial L_d}{\partial {\mathbf{z}}_{\ell }}\right),& \ell =M,M-1,\cdots ,1\end{array}$$

其中$\odot$表示逐点乘法，而$I({\mathbf{z}}_{\ell -1}>0)$是一个向量，其中在${\mathbf{z}}_{\ell -1}$大于零的位置包含一，在其他位置包含零。

最后，计算关于第一组偏差和权重的导数：

$$\begin{array}{rl}\frac{\partial L_d}{\partial {\mathbf{b}}_0}& =\frac{\partial L_d}{\partial {\mathbf{z}}_0}\\ \frac{\partial L_d}{\partial {\mathbf{W}}_0}& =\frac{\partial L_d}{\partial {\mathbf{z}}_0}{\mathbf{x}}^{\top }\end{array}$$

为批次中的每个训练样本计算这些导数，并将它们相加以获取用于 SGD 更新的梯度。

请注意，反向传播算法非常高效；前向和反向传递中最耗计算的步骤是矩阵乘法（分别由$\mathbf{W}$和${\mathbf{W}}^{\top }$进行），这只需要加法和乘法。然而，它不是内存高效的；前向传递中的中间值必须全部存储，这可能会限制可以训练的模型的大小。