设总损失函数$J(w)$为数据集中$N$个独立样本的损失函数$L_i(w)$之和，即$J(w)=\sum _{i=1}^N{L}_i(w)$。若每个样本的损失函数$L_i(w)$关于模型参数$w$均可导，则总损失函数$J(w)$关于参数$w$的导数（或梯度），等于各个样本损失函数$L_i(w)$关于参数$w$的导数（或梯度）之和。

用数学公式表示即为：
$$\frac{\partial J(w)}{\partial w}=\frac{\partial }{\partial w}\left(\sum _{i=1}^N{L}_i(w)\right)=\sum _{i=1}^N\frac{\partial L_i(w)}{\partial w}$$

证明

这个结论的证明依赖于微积分中两个最基础的求导法则：求和法则与链式法则。

在机器学习中，总损失函数$J$通常是所有$N$个样本的损失$L_i$的平均值或总和，即

$$J(w)=\frac{1}{N}\sum _{i=1}^N{L}_i(w)$$
其中，$L_i$是第$i$个样本的损失，它依赖于模型的预测值，而预测值又依赖于参数$w$。

2. 对参数$w$求导
   对总损失$J$关于参数$w$求偏导数：
   $$\frac{\partial J}{\partial w}=\frac{\partial }{\partial w}\left(\frac{1}{N}\sum _{i=1}^N{L}_i\right)$$

3. 运用求和法则
   根据微积分的求和法则（和的导数等于导数的和），以及常数因子可以提取到导数外面的性质，可以把求导符号放进求和符号里面：
   $$\frac{\partial J(w)}{\partial w}=\frac{1}{N}\sum _{i=1}^N\frac{\partial L_i(w)}{\partial w}$$

4. 结论
   观察上面的等式，右边$\sum _{i=1}^N\frac{\partial L_i}{\partial w}$正是各个样本损失对参数的导数之和。

这个数学性质是批量梯度下降（Batch Gradient Descent）和小批量随机梯度下降（Mini-batch SGD）能够成立的基石。

• 并行计算的基础：因为它证明了总梯度可以拆分成独立的部分，所以可以把数据分成一个个 Batch，分别计算每个 Batch 的梯度，最后把它们加起来（或取平均），就能得到全量数据的真实梯度。

补充说明

• 适用前提：该性质成立的核心前提是各个样本的损失$L_i$之间是相互独立的，并且都是关于参数$w$的可导函数。