第T6周：好莱坞明星识别

Zzzzzzzz1013

617人浏览 · 2026-05-01 16:47:09

Zzzzzzzz1013 · 2026-05-01 16:47:09 发布

🍨 本文为🔗365天深度学习训练营中的学习记录博客
🍖 原作者：K同学啊

一、前期工作

1.设置GPU

from tensorflow       import keras
from tensorflow.keras import layers,models
import os, PIL, pathlib
import matplotlib.pyplot as plt
import tensorflow        as tf
import numpy             as np

gpus = tf.config.list_physical_devices("GPU")

if gpus:
    gpu0 = gpus[0]                                        #如果有多个GPU，仅使用第0个GPU
    tf.config.experimental.set_memory_growth(gpu0, True)  #设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpu0],"GPU")
    
gpus

CPU所以跳过这一步

2.导入数据

data_dir = "./48-data/"

data_dir = pathlib.Path(data_dir)

3.查看数据

image_count = len(list(data_dir.glob('*/*.jpg')))
print("图片总数为：",image_count)

roses = list(data_dir.glob('Jennifer Lawrence/*.jpg'))
PIL.Image.open(str(roses[0]))

二、数据预处理

1.加载数据

batch_size = 32
img_height = 224
img_width = 224

"""
关于image_dataset_from_directory()的详细介绍可以参考文章：https://mtyjkh.blog.csdn.net/article/details/117018789
"""
train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.1,
    subset="training",
    label_mode = "categorical",
    seed=123,
    image_size=(img_height, img_width),
    batch_size=batch_size)

"""
关于image_dataset_from_directory()的详细介绍可以参考文章：https://mtyjkh.blog.csdn.net/article/details/117018789
"""
val_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.1,
    subset="validation",
    label_mode = "categorical",
    seed=123,
    image_size=(img_height, img_width),
    batch_size=batch_size)

class_names = train_ds.class_names
print(class_names)

2.可视化数据

plt.figure(figsize=(20, 10))

for images, labels in train_ds.take(1):
    for i in range(20):
        ax = plt.subplot(5, 10, i + 1)

        plt.imshow(images[i].numpy().astype("uint8"))
        plt.title(class_names[np.argmax(labels[i])])
        
        plt.axis("off")

3.再次检查数据

for image_batch, labels_batch in train_ds:
    print(image_batch.shape)
    print(labels_batch.shape)
    break

4.配置数据集

AUTOTUNE = tf.data.AUTOTUNE

train_ds = train_ds.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)
val_ds = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

三、构建CNN网络

"""
关于卷积核的计算不懂的可以参考文章：https://blog.csdn.net/qq_38251616/article/details/114278995

layers.Dropout(0.4) 作用是防止过拟合，提高模型的泛化能力。
关于Dropout层的更多介绍可以参考文章：https://mtyjkh.blog.csdn.net/article/details/115826689
"""

model = models.Sequential([
    layers.experimental.preprocessing.Rescaling(1./255, input_shape=(img_height, img_width, 3)),
    
    layers.Conv2D(16, (3, 3), activation='relu', input_shape=(img_height, img_width, 3)), # 卷积层1，卷积核3*3  
    layers.AveragePooling2D((2, 2)),               # 池化层1，2*2采样
    layers.Conv2D(32, (3, 3), activation='relu'),  # 卷积层2，卷积核3*3
    layers.AveragePooling2D((2, 2)),               # 池化层2，2*2采样
    layers.Dropout(0.5),  
    layers.Conv2D(64, (3, 3), activation='relu'),  # 卷积层3，卷积核3*3
    layers.AveragePooling2D((2, 2)),     
    layers.Dropout(0.5),  
    layers.Conv2D(128, (3, 3), activation='relu'),  # 卷积层3，卷积核3*3
    layers.Dropout(0.5), 
    
    layers.Flatten(),                       # Flatten层，连接卷积层与全连接层
    layers.Dense(128, activation='relu'),   # 全连接层，特征进一步提取
    layers.Dense(len(class_names))               # 输出层，输出预期结果
])

model.summary()  # 打印网络结构

四、训练模型

1.设置动态学习率

# 设置初始学习率
initial_learning_rate = 1e-4

lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay(
        initial_learning_rate, 
        decay_steps=60,      # 敲黑板！！！这里是指 steps，不是指epochs
        decay_rate=0.96,     # lr经过一次衰减就会变成 decay_rate*lr
        staircase=True)

# 将指数衰减学习率送入优化器
optimizer = tf.keras.optimizers.Adam(learning_rate=lr_schedule)

model.compile(optimizer=optimizer,
              loss=tf.keras.losses.CategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

调用方法一

model.compile(optimizer="adam",
              loss='categorical_crossentropy',
              metrics=['accuracy'])

调用方法二

model.compile(optimizer="adam",
              loss=tf.keras.losses.CategoricalCrossentropy(),
              metrics=['accuracy'])

sparse_categorical_crossentropy（稀疏性多分类的对数损失函数）：与 softmax 相对应的损失函数，如果是整数编码，则使用 sparse_categorical_crossentropy

调用方法一

model.compile(optimizer="adam",
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

调用方法二

model.compile(optimizer="adam",
              loss=tf.keras.losses.SparseCategoricalCrossentropy(),
              metrics=['accuracy'])

函数原型

tf.keras.losses.SparseCategoricalCrossentropy(
    from_logits=False,
    reduction=losses_utils.ReductionV2.AUTO,
    name='sparse_categorical_crossentropy'
)

2.早停与保存最佳模型参数

from tensorflow.keras.callbacks import ModelCheckpoint, EarlyStopping

epochs = 100

# 保存最佳模型参数
checkpointer = ModelCheckpoint('best_model.h5',
                                monitor='val_accuracy',
                                verbose=1,
                                save_best_only=True,
                                save_weights_only=True)

# 设置早停
earlystopper = EarlyStopping(monitor='val_accuracy', 
                             min_delta=0.001,
                             patience=20, 
                             verbose=1)

3.模型训练

history = model.fit(train_ds,
                    validation_data=val_ds,
                    epochs=epochs,
                    callbacks=[checkpointer, earlystopper])

五、模型评估

1.Loss与Accuracy图

from datetime import datetime
current_time = datetime.now() # 获取当前时间

acc = history.history['accuracy']
val_acc = history.history['val_accuracy']

loss = history.history['loss']
val_loss = history.history['val_loss']

epochs_range = range(len(loss))

plt.figure(figsize=(12, 4))
plt.subplot(1, 2, 1)
plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')
plt.xlabel(current_time) # 打卡请带上时间戳，否则代码截图无效

plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

2.指定图片进行预测

from PIL import Image
import numpy as np

img = Image.open("./48-data/Jennifer Lawrence/003_963a3627.jpg")  #这里选择你需要预测的图片
image = tf.image.resize(img, [img_height, img_width])

img_array = tf.expand_dims(image, 0) 

# 加载效果最好的模型权重
model.load_weights('best_model.h5')
predictions = model.predict(img_array) # 这里选用你已经训练好的模型
print("预测结果为：",class_names[np.argmax(predictions)])

六、个人总结

1.每次必备代码

import os
import pathlib
import PIL.Image
import numpy as np
import matplotlib.pyplot as plt

TensorFlow 及 Keras 核心组件
import tensorflow as tf
from tensorflow.keras import models, layers

2.理论基础
测试集 VS 验证集的本质区别：验证集（Validation Set）：不直接参与梯度下降和参数更新（狭义上不参与训练），但用于人工调参。通过观察模型在验证集上的表现，来决定是否早停（Early Stopping）或调整超参数（如学习率、Batch Size）。它防止了模型对训练集的盲目过拟合。
标签编码与加载模式 (label_mode)：使用 image_dataset_from_directory 加载数据时，标签按文件夹名称字母顺序自动生成。
int 模式：标签编码为整数（如 0, 1, 2...）。
categorical 模式：标签编码为 One-hot 分类向量（如 [1,0,0], [0,1,0]...）。
数据集性能优化：
shuffle()：打乱数据，打破数据的顺序相关性，提升模型泛化能力。
prefetch()：预取数据，让 CPU 准备数据的过程和 GPU 训练模型的过程并行，大幅加速运行。

3.损失函数（Loss Functions）的对应关系
选择合适的损失函数是深度学习的核心。分类问题中，损失函数必须与标签的编码方式严格对应：
binary_crossentropy
适用场景：二分类问题；标签编码格式：0 或 1；通常网络最后一层激活函数配合 Sigmoid 使用。
sparse_categorical_crossentropy
适用场景：多分类问题；标签编码格式：整数（如 1, 2, 3）；节省内存，适合类别极多的情况。
categorical_crossentropy
适用场景：多分类问题；标签编码格式：One-hot 向量（如 [0,1,0]）；本次任务（好莱坞明星识别）的核心要求。
核心参数 from_logits：设为 True 时，表示模型的输出没有经过 Softmax 处理（输出的是原始得分 logits），函数内部会自动将其转换为概率分布再计算 Loss。官方推荐使用 from_logits=True，因为数值计算上更稳定。

4.训练控制：学习率与回调函数
动态学习率 (ExponentialDecay)：前期使用较大学习率加速收敛，后期动态减小学习率帮助模型稳定在全局最优解。
核心参数：initial_learning_rate（初始值）、decay_steps（衰减周期）、decay_rate（衰减比例）、staircase（True 为阶梯式骤降，False 为平滑连续衰减）。
早停机制 (EarlyStopping)：防止模型过拟合的利器。
核心参数：monitor（监控指标，通常为 val_loss 或 val_accuracy）、patience（容忍多少个 Epoch 指标不改善才停止）、restore_best_weights（设为 True 可在停止时自动恢复到历史最佳权重，而不是最后一步的“烂权重”）。
模型保存 (ModelCheckpoint)：在训练过程中实时保存表现最好的模型参数（.h5 文件）。

5.单张图片预测标准 Pipeline
在模型训练完成后，对外部单张图片进行预测必须经过与训练集完全相同的预处理：加载并调整尺寸：使用 PIL 和 tf.image.resize 将图片调整为模型要求的输入尺寸；扩展维度：模型输入要求带有 Batch 维度，需使用 tf.expand_dims(image, 0) 将 (224, 224, 3) 转换为 (1, 224, 224, 3)；加载最佳权重：model.load_weights('best_model.h5')；预测与解码：调用 model.predict() 得到概率数组，使用 np.argmax() 提取概率最大的索引，最后映射回 class_names 得到最终标签。