链式法则是微积分中用于求复合函数导数的核心法则。它在机器学习中尤其重要，因为神经网络的反向传播算法本质上就是链式法则的反复应用。本文将全面讲解链式法则，从单变量到多变量，从理论到应用。

---

7.1 什么是链式法则？

1) 单变量链式法则

假设有两个函数：

• $y=f(u)$
• $u=g(x)$

那么 $y$ 作为 $ x $ 的复合函数 $y=f(g(x))$ 的导数为：
$$\frac{dy}{dx}=\frac{dy}{du}\cdot \frac{du}{dx}$$

换句话说，复合函数的导数等于外层函数对内层变量的导数乘以内层函数对自变量的导数。

例子：求 $y=(3x^2+1{)}^5$ 的导数。

• 令 $u=3x^2+1$，则 $y=u^5$。
• $\frac{dy}{du}=5u^4$，$\frac{du}{dx}=6x$。
• 因此 $\frac{dy}{dx}=5u^4\cdot 6x=30x(3x^2+1{)}^4$。

2) 几何直观

可以把导数理解为变化率。$du/dx$ 表示 $x$ 变化时 $u$ 的变化速度，$dy/du$ 表示 $u$ 变化时 $y$ 的变化速度。那么 $ x $ 变化引起的 $y$ 的变化速度，自然就是这两个速度的乘积。

---

7.2 多变量链式法则

当内层函数有多个变量时，链式法则需要扩展到偏导数。

1) 一个自变量，多个中间变量

设 $z=f(x,y)$，而 $x=g(t)$，$y=h(t)$，则 $z$ 关于 $t$ 的导数为：
$$\frac{dz}{dt}=\frac{\partial z}{\partial x}\cdot \frac{dx}{dt}+\frac{\partial z}{\partial y}\cdot \frac{dy}{dt}$$

例子：$z=x^2+y^2$，$x=\sin t$，$y=\cos t$，求 $dz/dt$。

• $\frac{\partial z}{\partial x}=2x$，$\frac{\partial z}{\partial y}=2y$。
• $\frac{dx}{dt}=\cos t$，$\frac{dy}{dt}=-\sin t$。
• 代入得 $\frac{dz}{dt}=2x\cos t+2y(-\sin t)=2\sin t\cos t-2\cos t\sin t=0$。
• 事实上 $z={\sin }^{2}t+{\cos }^{2}t=1$，导数为0，一致。

2) 多个自变量，多个中间变量

更一般地，设 $z=f(u_1,u_2,\dots ,u_m)$，每个 $u_i$ 是 $x_1,x_2,\dots ,x_n$ 的函数，则 $z$ 对 $x_j$ 的偏导数为：
$$\frac{\partial z}{\partial x_j}=\sum _{i=1}^m\frac{\partial z}{\partial u_i}\cdot \frac{\partial u_i}{\partial x_j}$$

这就是多变量链式法则的通用形式。

---

7.3 向量形式的链式法则

在机器学习中，我们常处理向量和矩阵。这时链式法则用雅可比矩阵表示。

设 $\mathbf{y}=\mathbf{f}(\mathbf{u})$，$\mathbf{u}=\mathbf{g}(\mathbf{x})$，则复合函数 $\mathbf{y}=\mathbf{f}(\mathbf{g}(\mathbf{x}))$ 的雅可比矩阵为：
$$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\frac{\partial \mathbf{y}}{\partial \mathbf{u}}\cdot \frac{\partial \mathbf{u}}{\partial \mathbf{x}}$$
其中 $\frac{\partial \mathbf{y}}{\partial \mathbf{u}}$ 是 $\mathbf{f}$ 的雅可比矩阵，$\frac{\partial \mathbf{u}}{\partial \mathbf{x}}$ 是 $\mathbf{g}$ 的雅可比矩阵，乘积是矩阵乘法。

在反向传播中，我们通常计算标量损失 $L$ 对参数的梯度。若 $L$ 是标量，$\mathbf{z}$ 是中间向量，则：
$$\frac{\partial L}{\partial \mathbf{x}}=\frac{\partial L}{\partial \mathbf{z}}\cdot \frac{\partial \mathbf{z}}{\partial \mathbf{x}}$$
这里的 $\frac{\partial L}{\partial \mathbf{z}}$ 是行向量（梯度），$\frac{\partial \mathbf{z}}{\partial \mathbf{x}}$ 是雅可比矩阵，结果也是行向量（梯度）。

---

7.4 链式法则在机器学习中的应用：反向传播

反向传播算法是训练神经网络的核心，它利用链式法则高效计算损失函数对每个参数的梯度。

1) 一个简单网络

考虑一个三层神经网络的一部分：

• 输入 $ x $
• 第一层：$z_1=W_{1}x+b_1$，$a_1=\sigma (z_1)$
• 第二层：$z_2=W_2{a}_1+b_2$，$a_2=\sigma (z_2)$
• 损失 $L=\text{Loss}(a_2,y)$

我们想求 $\frac{\partial L}{\partial W_2}$。根据链式法则：
$$\frac{\partial L}{\partial W_2}=\frac{\partial L}{\partial a_2}\cdot \frac{\partial a_2}{\partial z_2}\cdot \frac{\partial z_2}{\partial W_2}$$

• $\frac{\partial L}{\partial a_2}$：损失对输出的梯度。
• $\frac{\partial a_2}{\partial z_2}$：激活函数的导数（如sigmoid的导数为 $\sigma (z)(1-\sigma (z))$）。
• $\frac{\partial z_2}{\partial W_2}$：因为 $z_2=W_2{a}_1+b_2$，所以 $\frac{\partial z_2}{\partial W_2}=a_1^{\top }$（考虑维度，通常得到梯度矩阵）。

类似地，$\frac{\partial L}{\partial W_1}$ 需要继续向后传播：
$$\frac{\partial L}{\partial W_1}=\frac{\partial L}{\partial a_2}\cdot \frac{\partial a_2}{\partial z_2}\cdot \frac{\partial z_2}{\partial a_1}\cdot \frac{\partial a_1}{\partial z_1}\cdot \frac{\partial z_1}{\partial W_1}$$
每一层都是链式法则的乘积。

2) 计算图与自动微分

现代深度学习框架（如PyTorch、TensorFlow）使用计算图来记录运算，然后自动进行反向传播。它们正是基于链式法则，将每个操作的局部导数相乘并累加。

---

7.5 常见错误与注意事项

1. 变量混淆：在应用链式法则时，必须清楚变量之间的依赖关系。
2. 维度匹配：在多变量情形，注意偏导数的维度，确保矩阵乘法合法。
3. 全导数与偏导数：当中间变量依赖于多个自变量时，需用求和符号将所有路径相加。

---

7.6 总结

• 链式法则是求复合函数导数的法则，形式简洁但应用广泛。
• 单变量形式：$\frac{dy}{dx}=\frac{dy}{du}\cdot \frac{du}{dx}$。
• 多变量形式：$\frac{\partial z}{\partial t}=\frac{\partial z}{\partial x}\frac{dx}{dt}+\frac{\partial z}{\partial y}\frac{dy}{dt}$。
• 在机器学习中，它是反向传播算法的数学基础，使得神经网络能够高效训练。

掌握链式法则，就掌握了理解复杂模型梯度的钥匙。无论是简单的线性回归还是深度神经网络，链式法则都是不可或缺的工具。

上一章 机器学习微积分–(6)阶乘与阶数

下一章 机器学习微积分–(8)小结