#一般在训练模型的代码段加入：

model.train()

#在测试模型时候加入：

model.eval()

同时发现，如果不写这两个程序也可以运行，这是因为这两个方法是针对在网络训练和测试时采用不同方式的情况，比如Batch Normalization 和 Dropout。

训练时是正对每个min-batch的，但是在测试中往往是针对单张图片，即不存在min-batch的概念。

由于网络训练完毕后参数都是固定的，因此每个批次的均值和方差都是不变的，因此直接结算所有batch的均值和方差。

所有Batch Normalization的训练和测试时的操作不同

在训练中，每个隐层的神经元先乘概率P，然后在进行激活，在测试中，所有的神经元先进行激活，然后每个隐层神经元的输出乘P。

补充：Pytorch踩坑记录——model.eval()

最近在写代码时遇到一个问题，原本训练好的模型，加载进来进行inference准确率直接掉了5个点，尼玛，这简直不能忍啊～本菜鸡下意识地感知到我肯定又在哪里写了bug了～～～于是开始到处排查，从model load到data load，最终在一个被我封装好的module的犄角旮旯里找到了问题，于是顺便就在这里总结一下，避免以后再犯。

a) model.eval()，不启用 BatchNormalization 和 Dropout。此时pytorch会自动把BN和DropOut固定住，不会取平均，而是用训练好的值。不然的话，一旦test的batch_size过小，很容易就会因BN层导致模型performance损失较大；

b) model.train() ：启用 BatchNormalization 和 Dropout。 在模型测试阶段使用model.train() 让model变成训练模式，此时 dropout和batch normalization的操作在训练q起到防止网络过拟合的问题。

因此，在使用PyTorch进行训练和测试时一定要记得把实例化的model指定train/eval。

model.eval() 负责改变batchnorm、dropout的工作方式，如在eval()模式下，dropout是不工作的。 见下方代码：

  import torch
  import torch.nn as nn
 
  drop = nn.Dropout()
  x = torch.ones(10)
  
  # Train mode   
  drop.train()
  print(drop(x)) # tensor([2., 2., 0., 2., 2., 2., 2., 0., 0., 2.])   
  
  # Eval mode   
  drop.eval()
  print(drop(x)) # tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1.])

torch.no_grad() 负责关掉梯度计算，节省eval的时间。

只进行inference时，model.eval()是必须使用的，否则会影响结果准确性。 而torch.no_grad()并不是强制的，只影响运行效率。