在TensorFLow2中进行神经网络模型的训练主要包括以下几个主要的步骤:

  • 导入相关模块import
  • 准备数据,拆分训练集train、测试集test
  • 搭建神经网络模型model (两种方法:Sequential或自定义模型class)
  • 模型编译model.compile()
  • 模型训练model.fit()
  • 查看模型model.summary()
  • 模型评价
  • 模型预测model.predict()

model.compile()的作用就是为搭建好的神经网络模型设置损失函数loss、优化器optimizer、准确性评价函数metrics。

这些方法的作用分别是:

  • 损失函数和优化器用在反向传播的时候,我们会求损失函数对训练变量的导数,即梯度,然后根据选择的优化器来确定参数更新公式,根据公式对可训练参数进行更新。
  • 准确性评价函数用在评估模型预测的准确性。在模型训练的过程中,我们会记录模型在训练集、验证集上的预测准确性,之后会据此绘制准确率随着训练次数的变化曲线。通过查看和对比训练集、测试集随着训练次数的准确率曲线,我们能发现模型是否是过拟合、欠拟合,或者也可以发现多少轮后可以停止模型训练了。

由上可以看出,神经网络模型建模训练的过程中,核心的灵魂环节就是搭建模型和编译compile了。所以,这是非常非常重要的一个模块。

1、首先,上代码,直观看下model.compile()在神经网络建模中的使用示例

#model.compile()配置模型训练方法
model.compile(  
    optimizer = tf.keras.optimizers.SGD(lr = 0.1), #使用SGD优化器,学习率为0.1
    loss = tf.keras.losses.SparseCategoricalCrossentropy(from_logits = False), #配置损失函数
    metrics = ['sparse_categorical_accuracy'] #标注准确性评价指标
)

2、解读model.compile()中配置方法

compile(optimizer,  #优化器
        loss=None,  #损失函数
        metrics=None,   # ["准确率”]
        loss_weights=None, 
        sample_weight_mode=None, 
        weighted_metrics=None, 
        target_tensors=None)

2.1  loss可以是字符串形式给出的损失函数的名字,也可以是函数形式

例如:”mse" 或者 tf.keras.losses.MeanSquaredError()

           "sparse_categorical_crossentropy"  或者  tf.keras.losses.SparseCatagoricalCrossentropy(from_logits = False)

   损失函数经常需要使用softmax函数来将输出转化为概率分布的形式,在这里from_logits代表是否将输出转为概率分布的形式,为False时表示转换为概率分布,为True时表示不转换,直接输出

2.2  optimizer可以是字符串形式给出的优化器名字,也可以是函数形式,使用函数形式可以设置学习率、动量和超参数

例如:“sgd”   或者   tf.optimizers.SGD(lr = 学习率,

                                                             decay = 学习率衰减率,

                                                              momentum = 动量参数)

           “adagrad"  或者  tf.keras.optimizers.Adagrad(lr = 学习率,

                                                                                   decay = 学习率衰减率)

            ”adadelta"  或者  tf.keras.optimizers.Adadelta(lr = 学习率,

                                                                                     decay = 学习率衰减率)

             “adam"  或者  tf.keras.optimizers.Adam(lr = 学习率,

                                                                            decay = 学习率衰减率)

2.3 Metrics神经网络模型的准确性评价指标

例如:

        "accuracy" : y_ 和 y 都是数值,如y_ = [1] y = [1]  #y_为真实值,y为预测值

        “sparse_accuracy":y_和y都是以独热码 和概率分布表示,如y_ = [0, 1, 0], y = [0.256, 0.695, 0.048]

        "sparse_categorical_accuracy" :y_是以数值形式给出,y是以 独热码给出,如y_ = [1], y = [0.256 0.695, 0.048]
 

Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐