1.为什么需要有Batch_Size这个参数？

为了更新梯度。Batch_Size大小决定了梯度的更新。来看下batch对梯度的作用原理：

先看梯度更新的公式：

n是批量大小(batchsize)，η是学习率(learning rate)。除了梯度本身，这两个因子直接决定了模型的权重更新，从优化本身来看它们是影响模型性能收敛最重要的参数。学习率直接影响模型的收敛状态，batchsize则影响模型的泛化性能，两者又是分子分母的直接关系，相互也可影响。

2.Batch_Size对模型性能的影响

1. 大的batchsize减少训练时间，提高稳定性。同样的epoch数目，大的batchsize需要的batch数目减少了，所以可以减少训练时间。另一方面，大的batch size梯度的计算更加稳定，因为模型训练曲线会更加平滑。在微调的时候，大的batch size可能会取得更好的结果。

2. 太大的batchsize导致模型泛化能力下降。在一定范围内，增加batchsize有助于收敛的稳定性，但是随着batchsize的增加，模型的性能会下降。如下图，来自于参[1]

   

   [2]表明大的batchsize收敛到sharp minimum，而小的batchsize收敛到flat minimum，后者具有更好的泛化能力。两者的区别就在于变化的趋势，一个快一个慢，如下图，造成这个现象的主要原因是小的batchsize带来的噪声有助于逃离sharp minimum。
    

   

3. 学习率和batchsize的关系:通常当我们增加batchsize为原来的N倍时，要保证经过同样的样本后更新的权重相等，按照线性缩放规则，学习率应该增加为原来的N倍[1]。但是如果要保证权重的方差不变，则学习率应该增加为原来的sqrt(N)倍[3]，目前这两种策略都被研究过，使用前者的明显居多。

如果增加了学习率，那么batch size最好也跟着增加，这样收敛更稳定。

尽量使用大的学习率，因为很多研究都表明更大的学习率有利于提高泛化能力。如果真的要衰减，可以尝试其他办法，比如增加batch size，学习率对模型的收敛影响真的很大，慎重调整。

3.宏观看看Batch_Size这个参数

Batch的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，2 个好处：

• 其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。
• 其二，由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。Full Batch Learning 可以使用Rprop只基于梯度符号并且针对性单独更新各权值。

对于更大的数据集，以上 2 个好处又变成了 2 个坏处：

• 其一，随着数据集的海量增长和内存限制，一次性载入所有的数据进来变得越来越不可行。
• 其二，以 Rprop 的方式迭代，会由于各个 Batch 之间的采样差异性，各次梯度修正值相互抵消，无法修正。这才有了后来 RMSProp 的妥协方案。

既然 Full Batch Learning 并不适用大数据集，那么走向另一个极端怎么样？
所谓另一个极端，就是每次只训练一个样本，即 Batch_Size = 1。这就是在线学习（Online Learning）线性神经元在均方误差代价函数的错误面是一个抛物面，横截面是椭圆。对于多层神经元、非线性网络，在局部依然近似是抛物面。使用在线学习，每次修正方向以各自样本的梯度方向修正，横冲直撞各自为政，难以达到收敛。下图供参考：

问题来了，那些做在线学习的，都说多好多好的效果，流程搭建的多好多好，现在想想，真的好吗?？

4.可不可以选择一个适中的 Batch_Size 值呢？

当然可以，这就是批梯度下降法（Mini-batches Learning）。因为如果数据集足够充分，那么用一半（甚至少得多）的数据训练算出来的梯度与用全部数据训练出来的梯度是几乎一样的。

1. 在合理范围内，增大 Batch_Size 有何好处？
   1. 内存利用率提高了，大矩阵乘法的并行化效率提高。
   2. 跑完一次 epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快。
   3. 在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。
2. 盲目增大 Batch_Size 有何坏处？
   1. 内存利用率提高了，但内存容量不够。
   2. 跑完一次 epoch（全数据集）所需的迭代次数减少，要想达到相同的精度，其所花费的时间大大增加了，从而对参数的修正也就显得更加缓
   3. Batch_Size 增大到一定程度，其确定的下降方向已经基本不再变化。
3. 调节 Batch_Size 对训练效果影响到底如何？来自参考[4]

   

   运行结果如上图所示，其中绝对时间做了标准化处理。运行结果与上文分析相印证：
   1. Batch_Size 太小，算法在 200 epoches 内不收敛。
   2. 随着 Batch_Size 增大，处理相同数据量的速度越快。
   3. 随着 Batch_Size 增大，达到相同精度所需要的 epoch 数量越来越多。
   4. 由于上述两种因素的矛盾， Batch_Size 增大到某个时候，达到时间上的最优。
   5. 由于最终收敛精度会陷入不同的局部极值，因此 Batch_Size 增大到某些时候，达到最终收敛精度上的最优。

深度学习中神经网络的显存占用：显存占用 = 模型显存占用 + batch_size × 每个样本的显存占用

显存占用不是和 batch size 简单成正比，模型自身的参数及其延伸出来的数据也要占据显存

batch size 越大，速度未必越快。在你充分利用计算资源的时候，加大 batch size 在速度上的提升很有限

尤其是 batch-size，假定 GPU 处理单元已经充分利用的情况下：

增大 batch size 能增大速度，但是很有限（主要是并行计算的优化）

增大 batch size 能减缓梯度震荡，需要更少的迭代优化次数，收敛的更快，但是每次迭代耗时更长。

增大 batch size 使得一个 epoch 所能进行的优化次数变少，收敛可能变慢，从而需要更多时间才能收敛（比如 batch_size 变成全部样本数目）

参考：

1. Large Minibatch SGD: Training ImageNet in 1 Hour. arXiv: Computer Vision and Pattern Recognition

2. On large-batch training for deep learning: Generalization gap and sharp minima. arXiv preprint arXiv:1609.04836

3.Train longer, generalize better: closing the generalization gap in large batch training of neural networks

4.https://www.zhihu.com/question/32673260/answer/675161450