Tensorflow2 model.compile()理解
在TensorFLow2中进行神经网络模型的训练主要包括以下几个主要的步骤:
- 导入相关模块import
- 准备数据,拆分训练集train、测试集test
- 搭建神经网络模型model (两种方法:Sequential或自定义模型class)
- 模型编译model.compile()
- 模型训练model.fit()
- 查看模型model.summary()
- 模型评价
- 模型预测model.predict()
model.compile()的作用就是为搭建好的神经网络模型设置损失函数loss、优化器optimizer、准确性评价函数metrics。
这些方法的作用分别是:
- 损失函数和优化器用在反向传播的时候,我们会求损失函数对训练变量的导数,即梯度,然后根据选择的优化器来确定参数更新公式,根据公式对可训练参数进行更新。
- 准确性评价函数用在评估模型预测的准确性。在模型训练的过程中,我们会记录模型在训练集、验证集上的预测准确性,之后会据此绘制准确率随着训练次数的变化曲线。通过查看和对比训练集、测试集随着训练次数的准确率曲线,我们能发现模型是否是过拟合、欠拟合,或者也可以发现多少轮后可以停止模型训练了。
由上可以看出,神经网络模型建模训练的过程中,核心的灵魂环节就是搭建模型和编译compile了。所以,这是非常非常重要的一个模块。
1、首先,上代码,直观看下model.compile()在神经网络建模中的使用示例
#model.compile()配置模型训练方法
model.compile(
optimizer = tf.keras.optimizers.SGD(lr = 0.1), #使用SGD优化器,学习率为0.1
loss = tf.keras.losses.SparseCategoricalCrossentropy(from_logits = False), #配置损失函数
metrics = ['sparse_categorical_accuracy'] #标注准确性评价指标
)
2、解读model.compile()中配置方法
compile(optimizer, #优化器
loss=None, #损失函数
metrics=None, # ["准确率”]
loss_weights=None,
sample_weight_mode=None,
weighted_metrics=None,
target_tensors=None)
2.1 loss可以是字符串形式给出的损失函数的名字,也可以是函数形式
例如:”mse" 或者 tf.keras.losses.MeanSquaredError()
"sparse_categorical_crossentropy" 或者 tf.keras.losses.SparseCatagoricalCrossentropy(from_logits = False)
损失函数经常需要使用softmax函数来将输出转化为概率分布的形式,在这里from_logits代表是否将输出转为概率分布的形式,为False时表示转换为概率分布,为True时表示不转换,直接输出
2.2 optimizer可以是字符串形式给出的优化器名字,也可以是函数形式,使用函数形式可以设置学习率、动量和超参数
例如:“sgd” 或者 tf.optimizers.SGD(lr = 学习率,
decay = 学习率衰减率,
momentum = 动量参数)
“adagrad" 或者 tf.keras.optimizers.Adagrad(lr = 学习率,
decay = 学习率衰减率)
”adadelta" 或者 tf.keras.optimizers.Adadelta(lr = 学习率,
decay = 学习率衰减率)
“adam" 或者 tf.keras.optimizers.Adam(lr = 学习率,
decay = 学习率衰减率)
2.3 Metrics神经网络模型的准确性评价指标
例如:
"accuracy" : y_ 和 y 都是数值,如y_ = [1] y = [1] #y_为真实值,y为预测值
“sparse_accuracy":y_和y都是以独热码 和概率分布表示,如y_ = [0, 1, 0], y = [0.256, 0.695, 0.048]
"sparse_categorical_accuracy" :y_是以数值形式给出,y是以 独热码给出,如y_ = [1], y = [0.256 0.695, 0.048]
更多推荐
所有评论(0)