摘要：面向课堂互动、人机交互与情绪计算等应用场景，本文实现了一套基于深度学习的人脸表情识别系统，并给出从模型训练到可视化部署的完整技术路线。系统以人脸检测与对齐为前置步骤，在统一的输入尺寸下对关键表情类别进行判别，核心识别网络采用轻量化主干与注意力增强模块以兼顾精度与实时性，并在交叉熵目标下结合标签平滑与数据增强策略提升泛化能力。系统端采用 PySide6 构建交互界面，支持 图片/视频/摄像头 多源输入与实时推理，提供 置信度阈值调节、帧率与延迟监控、结果叠加显示、类别统计与导出 等功能；同时引入 SQLite 完成用户注册登录与历史记录持久化，便于不同用户在独立空间中管理模型配置与识别结果。实验部分通过 Accuracy、F1-Score、混淆矩阵与PR曲线 等指标对模型性能进行评估，并结合典型场景样例分析误差来源，为后续在复杂光照、遮挡与非正面姿态条件下的鲁棒性改进提供依据。

---

功能效果展示视频：人脸表情识别系统YOLOv12-v11至v5（八个模型，含示例论文）合集（完整Python项目演示，UI界面，含论文等）

➷点击跳转至文末所有涉及的完整代码文件下载页☇

---

1.前言综述

在人类情感交流中，面部表情承载了高密度的非语言信息，能够在很大程度上反映个体的情绪状态、意图与交互反馈，而“基本情绪”的心理学范式也为工程系统的类别定义提供了可操作的语义基础1。(Gruber Peplab)
从计算机视觉角度看，表情识别的目标并不只是“分类”本身，更关键的是在复杂环境中稳定提取与表情相关的形变与纹理线索，并在端侧或实时场景下保持低延迟与可解释的输出，这一问题在早期综述中已被系统性地归纳为“检测—表征—分类”的链式挑战2。(Archive Scholar)

随着应用场景从实验室受控采集走向真实世界的监控、课堂、医疗康复、智能座舱与服务机器人，数据分布的漂移成为影响算法可靠性的核心因素之一；典型的“野外”数据库 RAF-DB 通过众包标注与更丰富的身份、姿态、光照与遮挡变化，揭示了真实场景下表情类别边界的模糊性与复合表情现象3。(CVF Open Access)
在更大规模的样本层面，AffectNet 将离散表情与连续情绪维度（如效价/唤醒）纳入同一框架，并以百万级互联网人脸样本显著缓解了数据稀缺问题，为面向开放场景的模型预训练与迁移学习奠定了数据基础4。(Xplore)
进一步地，视频与时序情绪建模强调表情的动态演化过程，Aff-Wild 在自然视频中提供连续维度标注并系统讨论了“野外”情感预测的评测范式，推动了从静态图像 FER 向动态 FER 的方法转向5。(Springer)

就研究现状而言，国内外工作通常围绕两条主线推进：其一是提升“表情相关表征”的纯度，以减弱身份偏置、姿态变化、遮挡与光照等表情无关因素的干扰；其二是降低数据与标注的不确定性带来的泛化损失。国内综述工作对深度表情识别从静态到动态、从单模态到多模态的演化路径进行了较为完整的归纳，并指出真实世界条件下的关键瓶颈主要集中在数据量与表情无关扰动的耦合上6。(CJIG)
与此同时，随着模型规模与结构复杂度上升，如何解释模型决策依据、评估偏置与稳健性也逐渐成为表情识别走向工程落地的“必要约束”，国内在可解释性范式与方法分类上的系统梳理，进一步凸显了从“准确率驱动”走向“可信驱动”的研究趋势7。(CJC)

典型研究脉络与要点对比（概览）

方法谱系	常用数据集/场景	优势	主要不足（与本文任务相关）
传统手工特征 + 浅层分类	CK+/JAFFE 等受控数据为主	可解释性直观、实现简单	对姿态/遮挡/光照极敏感，跨域泛化弱
CNN 表征学习（深层主干）	FER2013、RAF-DB、AffectNet	局部纹理与形变建模强，易迁移	容易学习身份偏置，需更强正则与数据策略
轻量化 CNN（端侧部署）	摄像头实时、嵌入式/低功耗	延迟低、资源友好	精度上限受限，细粒度表情易混淆
Transformer/注意力增强	RAF-DB、AffectNet（“野外”）	全局依赖建模能力强	对噪声区域与遮挡敏感，训练更依赖数据与先验
视频时序建模（动态 FER）	AFEW/DFEW/Aff-Wild 等	捕获表情演化与微弱动态线索	帧噪声与时序冗余显著，推理成本更高

深度学习方法的演进也直接影响系统实现的工程形态：以 ResNet 为代表的残差结构显著改善了深层网络优化难题，使得表情识别能够在更深的判别表征空间中学习稳定特征8。(CVF Open Access)
在此基础上，面向效率的网络缩放与结构搜索进一步推动了“精度—速度—参数量”的可控权衡，例如 EfficientNet 的缩放策略为不同算力平台提供了相对统一的配置原则9。(Proceedings of Machine Learning Research)
当系统强调桌面端实时推理或端侧摄像头输入时，MobileNetV3 这类面向硬件延迟优化的轻量主干更有利于在可接受精度下获得稳定帧率10。(CVF Open Access)
近年来，视觉 Transformer 以“自注意力”构建全局关系，为遮挡、姿态变化下的鲁棒表征提供了新的结构空间，ViT 的范式也促使表情识别从局部纹理驱动逐步走向全局依赖建模11。(dblp)
同时，Swin Transformer 通过分层窗口化注意力在计算复杂度与全局建模能力之间取得折中，使其更适合作为通用视觉骨干嵌入到表情识别的工程框架中12。(CVF Open Access)

需要强调的是，表情识别与一般目标分类不同，它对“噪声区域抑制”和“细微差别放大”更敏感：在“野外”遮挡与噪声不可避免的前提下，APViT 通过注意力池化思路削弱无关 token 的影响，体现了 Transformer 在 FER 场景中需要进行任务适配的现实需求13。(dblp)
另一类高频痛点来自标注噪声与主观性差异，在线纠错与鲁棒训练逐渐成为提升跨域性能的重要方向，TAN 通过 Transformer 增强并结合在线标签修正，直接对“错误标注导致的性能上限”给出针对性解决路径14。(dblp)
当输入扩展到视频流时，表情动态往往“幅度小、噪声多、有效帧稀疏”，EST 将序列拆解为片段并分别建模片段内与片段间关系，为动态 FER 在长时序与细微运动线索上的建模提供了更符合数据形态的结构选择15。(ScienceDirect)

综合来看，面向工程落地的深度学习表情识别系统仍面临若干共性技术难点：其一是“检测与对齐误差”会在端到端链路中被放大，导致分类器学习到与表情无关的背景与裁剪偏差；其二是“野外条件下的域偏移”使得同类表情在不同身份、姿态、光照下呈现强烈的类内差异；其三是“类别不均衡与标签噪声”使得模型容易在少样本类别上过拟合或产生系统性偏置；其四是实时交互场景对延迟、吞吐与资源占用提出硬约束，要求模型结构与推理后端协同优化；其五是可解释性、隐私与合规要求正在从附加项转为系统设计的前置约束。基于这些问题意识，博主在本文的系统实现中更关注“稳定链路、可控延迟、可解释输出”三者之间的可落地平衡，而不是单一指标的极限追求。

本文的主要贡献可以概括为：第一，构建了一个可运行的人脸表情识别端到端系统，覆盖人脸检测/对齐、表情识别与可视化展示，并支持图片、视频与摄像头多源输入；第二，在同一数据与评测协议下对不同主干（轻量 CNN 与 Transformer 系）进行效果对比，并结合噪声抑制与鲁棒训练给出可复现的实现细节；第三，基于 PySide6 完成桌面端交互界面设计，并结合 SQLite 实现用户配置与识别记录的持久化管理，便于真实场景迭代与复用。

---

主要功能演示：

登录注册（账号体系入口）：系统启动后首先进入登录界面，提供账号与密码输入、可选头像展示与基础校验提示；当用户选择注册时，界面引导完成用户名唯一性检查、密码强度约束与信息写入 SQLite 数据库。登录阶段采用查询校验机制，校验通过后加载该用户的个性化配置（例如阈值参数、上次使用的模型权重、主题外观）以及历史识别记录，从而保证不同用户在同一台设备上具有相互独立的使用空间，并为后续结果追溯与导出提供数据来源。

页面布局（主工作区与信息面板）：进入主界面后，整体布局遵循“输入区—显示区—控制区—统计区”的信息流组织方式：中部以图像/视频帧为核心显示区域，叠加检测框、类别与置信度；侧边控制区集中放置输入源切换（图片、文件夹、视频、摄像头）、播放与暂停、保存与导出等操作；下方或右侧提供类别统计与日志窗口，用于呈现帧率、推理耗时、当前模型状态、告警与异常信息。这样的布局使交互路径与推理链路一致，用户可以在不打断观察的前提下完成参数调整与结果管理。

模型选择（权重加载与推理切换）：系统在界面中提供模型选择控件，用于在多种 YOLO 系列权重之间切换；切换时由控制层触发 Detector 释放旧模型并加载新权重，同时在状态区反馈加载进度、模型输入尺寸与推理后端信息。为避免误操作造成的推理抖动，界面通常在加载期间对相关按钮进行短暂禁用，并在加载完成后恢复推理链路；用户能够直观看到不同模型在同一输入上的检测差异与速度变化，从而为精度与实时性的取舍提供依据。

主题修改（外观定制与持久化）：系统提供主题切换入口，支持明暗模式、主色调与部分控件样式的快速替换，并允许对背景图、图标与字号等进行适度调整，以适配不同光照环境与显示设备。主题修改后的配置会写入用户级配置表或本地配置文件，在下次登录自动恢复，保证界面风格的一致性与可重复的操作体验；对于演示与部署场景，该机制也便于快速在“演示友好”和“长时工作”两类外观之间切换。

---

2. 数据集介绍

本项目的人脸表情数据集以“检测式表情识别”为标注范式：每张图像在保留真实背景与光照条件的前提下，对可见人脸给出边界框，并将边界框与八类基础表情标签绑定，从而使 YOLO 系列模型能够在同一前向过程中同时完成“人脸定位”和“表情判别”。从你给出的训练批次可视化结果可以看出，原始样本整体呈现“单图单脸”为主的形态，而在 Mosaic 等增强策略作用下，多个样本会被拼接到同一训练图中，进而形成多框监督，这对提升模型在多人同框、局部遮挡与尺度变化场景下的鲁棒性是有帮助的。类别体系采用 Anger、Contempt、Disgust、Fear、Happy、Neutral、Sad、Surprise 八类，并在系统侧提供中文映射（愤怒、轻蔑、厌恶、恐惧、快乐、中性、悲伤、惊讶），保证训练标签、推理输出与界面展示三者语义一致；老思在工程实现里也建议将该映射固化到配置文件或数据库字典表，避免后期扩类带来维护成本。

在数据划分上，数据集共 9,900 张精选图像，按训练/验证/测试三部分组织，其中训练集 8,001 张用于参数学习，验证集 999 张用于早停与超参数选择，测试集 900 张用于最终泛化评估。结合你提供的标签统计图与标注框相关性图可以观察到：各类别实例数整体较为均衡，仅个别类别略低；标注框中心分布集中在图像中部附近，且宽高占比偏大，说明样本以“人脸主体清晰、占画面主要区域”的构图为主，这有利于模型捕获与表情相关的局部肌肉纹理与关键形变，但也可能带来“过度中心化”的先验偏置。因此在预处理中通常会统一输入分辨率（如 $640\times 640$）并采用随机缩放、平移、翻转与颜色扰动等增强来扩展分布覆盖面，同时保持 YOLO 归一化坐标标注的一致性，确保训练与部署阶段的数据接口稳定。

📊 数据集规格说明 (Dataset Specification)

维度	参数项	详细数据
基础信息	标注软件	LabelImg
	标注格式	YOLO TXT (Normalized)
数量统计	训练集 (Train)	8,001 张 (80.8%)
	验证集 (Val)	999 张 (10.1%)
	测试集 (Test)	900 张 (9.1%)
	总计 (Total)	9,900 张
类别清单	Class ID: 0	Anger（愤怒）
	Class ID: 1	Contempt（轻蔑）
	Class ID: 2	Disgust（厌恶）
	Class ID: 3	Fear（恐惧）
	Class ID: 4	Happy（快乐）
	Class ID: 5	Neutral（中性）
	Class ID: 6	Sad（悲伤）
	Class ID: 7	Surprise（惊讶）
图像规格	输入尺寸	640 * 640
	数据来源	公开图像与自有样本混合，经人工清洗/去重与质量筛选

---

3. 模型设计与实现

在人脸表情识别的工程落地中，常见路线是“人脸检测/对齐 → 表情分类”，分类主干多选用 ResNet、MobileNet 或 EfficientNet 一类的图像分类网络，以获得稳定的全局语义表征；但这一路线在多人同框、尺度变化与遮挡场景下往往需要额外的人脸跟踪与裁剪调度，端到端链路的时延与误差累积也更明显。结合你当前数据集的标注形式（对人脸框进行八类表情标注），老思更倾向于把问题建模为“表情目标检测”：模型一次前向同时输出人脸位置与表情类别，使后续系统在摄像头实时推理时能以更简洁的状态机完成多目标管理与结果统计。

本项目默认选用 YOLOv12n 作为基线检测器，其核心思想是将注意力机制作为网络结构的关键算子，同时通过更高效的注意力实现与结构设计保持实时性；Ultralytics 的实现将其描述为“attention-centric architecture”，并强调 Area Attention、R-ELAN 与可选 FlashAttention 等设计，用于在精度与速度之间取得更优权衡。(Ultralytics Docs) 需要说明的是，该实现亦被标注为社区维护版本，可能出现训练不稳定、显存占用更高或 CPU 推理吞吐下降等现象，因此在实际部署阶段也可以保留 YOLO11 等更“稳态”的备选权重作为可切换方案。(Ultralytics Docs)

从网络拓扑看，YOLO 系列整体仍遵循“Backbone—Neck—Head”的三段式：Backbone 负责从输入图像中提取多层级特征，Neck 用 FPN/PAN 式的跨层融合把语义与细节在不同尺度上对齐，Head 在多尺度特征图上输出分类分数与边界框回归量。为了便于读者直观理解该范式，网络的整体架构示意可参考下图（经典 YOLO 的 Backbone/Neck/Head 分解方式）。(Ultralytics Docs)

在检测头的任务建模上，设某一尺度特征图位置对应的预测为边界框 $b=(x,y,w,h)$、目标置信与类别分布。对本任务而言，类别集合为 8 类表情（Anger/Contempt/Disgust/Fear/Happy/Neutral/Sad/Surprise），因此检测头的类别输出维度为 $C=8$。训练阶段通常采用多项损失的加权求和来同时约束定位与分类，形式上可写为
$$\mathcal{L}={\lambda }_{\text{box}}\mathcal{L}\ast \text{box}+\lambda \ast \text{dfl}\mathcal{L}\ast \text{dfl}+\lambda \ast \text{cls}\mathcal{L}\ast \text{cls},$$
其中 $\mathcal{L}\ast \text{cls}$ 多用 BCE/Focal 一类的分类损失来处理类别不均衡与难样本聚焦；$\mathcal{L}\ast \text{box}$ 常以 IoU 系列（如 CIoU）度量预测框与真实框的几何一致性；$\mathcal{L}\ast \text{dfl}$ 对边界框的离散分布回归进行约束，是 Ultralytics 体系里常见的分布式回归组件。(Ultralytics Docs) 直观理解上，DFL 将连续坐标映射为 $0\sim R$ 的离散桶并学习概率 $p_i$，再用期望恢复连续预测，例如 $\hat{x}={\sum }_{i=0}^{R}i\cdot p_i$，从而在边界细化时提供更稳定的梯度与更高的定位分辨率。(Ultralytics Docs)

模型实现层面，本项目基于 Ultralytics 的 YAML 架构配置机制完成“通用检测器 → 表情检测器”的改造：在数据配置中将 nc 设为 8 并写入类别名；在模型侧直接加载 COCO 预训练权重（如 yolo12n.pt）并进行迁移学习，使 Backbone 的通用纹理与形状先验能在 9,900 张表情样本上更快收敛。Ultralytics 官方将 YAML 视作网络的“结构蓝图”，包含深度/宽度缩放与模块连接关系，因此该方式也便于后续替换为 YOLOv5–YOLOv12 的不同变体做横向对比实验。(Ultralytics Docs)

为了补充对 YOLOv12 注意力特性的直观认识，下图给出了 YOLOv10/YOLOv11/YOLOv12 的热力图对比示例（来自 Ultralytics 文档引用的可视化图），可以看到注意力结构在部分场景中会表现出更“聚焦目标”的响应模式；在表情任务中，这类响应往往对应眉眼与口周等关键肌肉区域，对细粒度表情差异的判别是有利的。

---

4. 训练策略与模型优化

在训练流程设计上，老思将本任务视为“带类别语义的人脸目标检测”，因此训练主线遵循 Ultralytics YOLO 的标准范式：数据解析与增强由 dataloader 完成，模型前向输出多尺度预测，损失函数在定位项与分类项上联合优化，并以验证集指标（通常为 $mA{P}_{50\text{-}95}$）驱动早停与最佳权重选择。训练环境建议固定为 Python 3.12 与 PyTorch（CUDA 版本与显卡驱动匹配），硬件以 RTX 4090 为主，默认启用 AMP 混合精度以降低显存占用并提升吞吐；在工程实践中，AMP 对 YOLO 系列训练的稳定性通常较好，但需要与 batch size、学习率共同调节，避免早期梯度振荡导致的收敛变慢。

迁移学习是该规模数据集（9,900 张）获得稳定精度的关键策略。训练时加载 COCO 等通用数据上预训练的 YOLO 权重，使 Backbone 已具备对边缘、纹理与局部结构的通用表征能力；微调阶段重点让 Neck/Head 适配“人脸框+表情类别”的监督信号，并逐步让 Backbone 的高层语义对表情细粒度差异（眉眼、口周肌肉形变）建立更强判别性。实现上可采用“全网络微调，但降低初期学习率并引入 warmup”的方式：训练前 $3$ 个 epoch 进行学习率预热，使梯度从较小步长平滑进入稳定区间；随后采用余弦退火将学习率从 $l{r}_0$ 缓慢衰减到 $l{r}_0\cdot lrf$，其形式可写为
$$lr(t)=l{r}_0\left[lrf+\frac{1-lrf}{2}\left(1+\cos \left(\pi \frac{t}{T}\right)\right)\right],$$
其中 $t$ 为当前迭代进度、$T$ 为总训练进度。该调度在表情检测这类“类别细、边界模糊”的任务上往往比阶梯式下降更平滑，有助于后期收敛到更稳定的最优点。

数据增强与正则化方面，本项目保留 Mosaic 作为主要策略之一，因为你给出的 batch 可视化已表明增强后会形成多框监督，从而显著提升模型对多人同框、尺度变化与局部遮挡的适应性；但 Mosaic 在训练末期可能引入与真实分布不一致的拼接伪影，因此通常在最后若干 epoch 关闭（例如 close_mosaic=10），让模型在更接近真实输入的分布上完成“收尾收敛”。同时配合随机水平翻转、颜色扰动（HSV）、轻微仿射变换等增强，可在不破坏表情语义的前提下扩展光照与姿态覆盖面；对于类别较均衡的数据，分类端无需过度强调重采样，但可启用轻量的标签平滑以缓解标注主观性带来的过拟合风险，使模型输出更具校准性。

为了让读者能够复现实验，下面给出一套在 4090 上较为稳健的默认超参数组合（与前文建议一致，可根据显存与收敛曲线微调）。在不额外追求极端速度的前提下，batch=16 与 imgsz=640 通常能在精度与训练效率之间取得较好的折中；patience=50 结合验证集监控可避免无效训练并减少过拟合。

名称	作用（简述）	数值
epochs	最多训练轮数	120
patience	早停耐心（验证无提升则停止）	50
batch	每次迭代总批大小	16
imgsz	网络输入分辨率	640
pretrained	是否加载预训练权重	true
optimizer	优化器	auto
lr0	初始学习率	0.01
lrf	最终学习率占比	0.01
momentum	动量系数	0.937
weight_decay	权重衰减	0.0005
warmup_epochs	学习率预热轮数	3.0
mosaic	Mosaic 增强强度/概率	1.0
close_mosaic	训练后期关闭 Mosaic 的轮数	10

模型优化不仅发生在训练侧，也体现在部署侧的推理加速与稳定性控制。训练完成后建议以 best.pt 为基准导出 ONNX，再根据部署平台选择 TensorRT FP16 引擎以获得更低延迟；若系统侧需要在多模型间频繁切换（YOLOv5–YOLOv12），则应将导出后的引擎与类别字典一并缓存，并在 UI 层通过信号槽控制加载时序，避免推理线程阻塞主线程导致界面卡顿。工程上还应对推理后处理进行约束：通过合理的 NMS IoU 阈值与置信度阈值限制误检扩散，并在连续帧场景下引入简单的时间一致性策略（例如短窗口投票或指数滑动平均）抑制表情类别的瞬时抖动，使最终展示更符合人类观感与交互需求。最后，建议固定随机种子、记录完整训练配置与版本信息（权重、数据划分、增强开关、阈值等），以便在实验章节进行可重复对比并追踪每一次改动对 $mAP$ 与 F1 的影响。

---

5. 实验与结果分析

5.1 实验设计与设置

本节在同一数据划分（Train/Val/Test=8001/999/900）、同一输入尺寸（$640\times 640$）与同一训练轮次（120 epochs）下，对 YOLO 系列不同代际与不同规模变体进行横向对比，目标是回答两个工程问题：其一，在“人脸框+8类表情”的检测式建模下，哪一类模型能在 $mA{P}_{50}$ 与 F1 上给出更稳定的识别效果；其二，在桌面端/摄像头实时推理场景中，端到端时延（预处理+推理+后处理）与精度之间的折中如何选择。对比对象覆盖轻量（n/t）与中小（s）两档：YOLOv5nu、YOLOv6n、YOLOv7-tiny、YOLOv8n、YOLOv9t、YOLOv10n、YOLOv11n、YOLOv12n，以及 YOLOv5su、YOLOv6s、YOLOv7、YOLOv8s、YOLOv9s、YOLOv10s、YOLOv11s、YOLOv12s。速度测试在同一硬件平台 NVIDIA GeForce RTX 3070 Laptop GPU（8GB）上完成，分别记录 PreTime、InfTime、PostTime，以便更贴近系统端真实链路的运行开销。

5.2 度量指标

检测性能采用 Precision、Recall、F1 Score 以及 $mA{P}_{50}$、$mA{P}_{50\text{-}95}$ 作为主要指标，其中 $mA{P}_{50}$ 反映 IoU=0.5 条件下的检出质量，$mA{P}_{50\text{-}95}$ 更强调定位与置信排序的综合能力。为便于阈值选择与部署调参，本节同时给出 F1-Confidence 曲线与 PR 曲线，并以混淆矩阵分析类别间的主要误差来源。由于表情类别具有一定主观性与边界模糊性，老思在解读指标时更关注三类现象：高召回但低精度（误检偏多）、高精度但低召回（漏检偏多）、以及特定类别之间的系统性混淆（例如愤怒/厌恶一类的局部肌肉形变相近导致的错分）。

5.3 结果对比与可视化分析

在 n/t 档模型中，整体指标集中在 $F1\approx 0.46\sim 0.49$、$mA{P}_{50}\approx 0.47\sim 0.51$ 区间，说明在当前数据规模与标注范式下，各代 YOLO 的上限差距并不大，但仍存在可解释的偏好。如下图所示，YOLOv6n 取得最高的 $mA{P}_{50}=0.5086$，同时保持较低推理时延（InfTime=6.78ms）；YOLOv11n 给出最高的 F1（0.4936），表现为更均衡的精确率与召回率组合；YOLOv7-tiny 的召回率虽然较高（0.6488），但精确率明显偏低（0.3585），且推理与后处理耗时显著升高（InfTime=14.74ms，PostTime=4.06ms），说明其在本任务上的“高召回”更多来自阈值下的误检扩张，而非更好的判别能力。对实时系统而言，更应优先选择“端到端时延接近、精度更稳定”的方案：例如 YOLOv6n 与 YOLOv8n 的总时延分别约为 10.34ms 与 10.17ms，但 YOLOv6n 的 $mA{P}_{50}$ 明显更高，因此更适合作为默认权重；若系统更强调界面端的类别展示稳定性（减少错分），YOLOv11n 的较高 F1 则更有吸引力。

在 s 档模型中，精度增益并未随参数量线性提升。如下图所示，YOLOv6s 在 $mA{P}_{50}$（0.5021）与 $mA{P}_{50\text{-}95}$（0.3473）上均为最优，但其参数量与计算量显著增大（17.2M、44.2G FLOPs），更适合作为“离线评估/较高精度优先”的基线；YOLOv8s 具有最小推理时延（InfTime=7.66ms，端到端约 11.39ms），但精度略低于 YOLOv6s；YOLOv12s 获得最高 F1（0.4846）与较高召回（0.6169），但推理耗时增加到 13.23ms，适合作为“更重视检出完整性”的配置。值得注意的是，YOLOv7 与 YOLOv9s 的推理时延在该平台上显著偏大（23.62ms 与 18.66ms），这会直接影响摄像头实时帧率与界面交互响应，不建议作为桌面端默认模型。

从收敛过程看，n 档与 s 档的 $mA{P}_{50}$ 随 epoch 在前 20 个 epoch 快速上升，约在 40–70 epoch 进入平台期，随后出现轻微回落或波动（如下训练曲线图所示）。这一现象与表情任务的“细粒度类别 + 部分标签主观噪声”相一致：当模型完成对人脸区域的稳定定位后，后续提升主要依赖对眉眼与口周纹理的细微区分，容易在后期被数据偏置或增强分布差异牵引，从而出现验证指标的边际收益递减。工程上更合理的做法是以验证集 $mA{P}_{50}$ 触发早停，或在后期进一步降低学习率并关闭 Mosaic，以减少分布偏移带来的泛化回落，这一点与你前文的训练策略设计是吻合的。

阈值选择方面，F1-Confidence 曲线给出了一个可直接迁移到 UI 的结论：全类别最优 F1 约为 0.48，对应的置信度阈值约为 0.19（如下图所示）。这意味着在系统默认参数上，将 conf 设置在 0.2 左右通常能获得更平衡的精确率与召回率；若用于“告警/统计”场景希望减少误检，则可以将 conf 上调到 0.3–0.4，并配合更严格的 NMS IoU。更进一步地，曲线也显示各类别的最优阈值并不一致：Happy、Fear 等类别在较宽阈值范围内保持较高 F1，而 Disgust、Anger 的曲线整体偏低，说明这两类更容易受到局部遮挡、光照以及表情边界模糊的影响，因此在 UI 上支持“按类别阈值”或“按场景预设阈值”会更贴近真实使用需求。

从 PR 曲线与混淆矩阵可见，类别难度呈现明显分层：Happy 的 AP 最高（约 0.787），Fear 次之（约 0.635），而 Anger 与 Disgust 明显偏低（约 0.213 与 0.182）（如下 PR 曲线图所示）。混淆矩阵进一步揭示了主要错分路径：愤怒常被错分为厌恶或轻蔑，厌恶也会向愤怒方向漂移；中性与轻蔑、悲伤之间存在一定混淆。这类误差并非单纯由定位误差造成，更接近“表情语义本身在静态帧上的可分性不足”，尤其当人脸分辨率下降或存在头部轻微转动时，眉间皱纹、鼻翼牵拉等线索会被压缩到少量像素，导致类别边界更模糊。针对这类问题，后续优化更应落在数据与任务建模侧：补充 Anger/Disgust 的难例、引入更严格的人脸对齐、或在检测框内加入轻量关键区域增强（例如对眼口区域进行更强的局部对比增强），比单纯替换更大的检测器更有效。

n/t 档模型综合对比（含端到端时延，RTX 3070 Laptop）

Model	Params(M)	FLOPs(G)	Total(ms)	Precision	Recall	F1	mAP50	mAP50-95
YOLOv6n	4.3	11.1	10.34	0.427	0.549	0.480	0.509	0.345
YOLOv11n	2.6	6.5	12.97	0.427	0.585	0.494	0.500	0.343
YOLOv5nu	2.6	7.7	10.94	0.417	0.565	0.480	0.501	0.341
YOLOv9t	2.0	7.7	19.67	0.411	0.567	0.477	0.502	0.346
YOLOv12n	2.6	6.5	15.75	0.424	0.580	0.489	0.494	0.341
YOLOv8n	3.2	8.7	10.17	0.389	0.609	0.475	0.494	0.334
YOLOv10n	2.3	6.7	13.95	0.419	0.535	0.470	0.485	0.331
YOLOv7-tiny	6.2	13.8	21.08	0.358	0.649	0.462	0.473	0.312

s 档模型综合对比（含端到端时延，RTX 3070 Laptop）

Model	Params(M)	FLOPs(G)	Total(ms)	Precision	Recall	F1	mAP50	mAP50-95
YOLOv6s	17.2	44.2	12.26	0.408	0.590	0.483	0.502	0.347
YOLOv12s	9.3	21.4	16.74	0.399	0.617	0.485	0.501	0.341
YOLOv8s	11.2	28.6	11.39	0.417	0.544	0.472	0.498	0.342
YOLOv9s	7.2	26.7	22.17	0.395	0.608	0.479	0.498	0.344
YOLOv10s	7.2	21.6	14.19	0.427	0.543	0.478	0.491	0.335
YOLOv11s	9.4	21.5	13.47	0.409	0.571	0.477	0.491	0.337
YOLOv5su	9.1	24.0	12.24	0.384	0.588	0.464	0.492	0.336
YOLOv7	36.9	104.7	29.52	0.384	0.626	0.476	0.480	0.321

---

6.系统设计与实现

6.1 系统设计思路

本系统面向“人脸定位 + 表情类别判别”的检测式任务建模，工程侧采用分层解耦的桌面端架构：界面层以 Ui_MainWindow 承载控件与布局，控制层以 MainWindow 统一调度输入源、推理状态与结果管理，处理层以 Detector 封装模型加载、推理与后处理逻辑。这样的划分使 UI 只关心展示与交互事件，推理链路则可以独立演进（更换 YOLO 系列权重、替换后处理策略、引入不同后端），避免界面代码与算法代码相互缠绕，便于后续维护与复现实验。

为保证摄像头/视频实时性，推理与视频解码通常以后台线程运行（例如 QThread 或线程池），由信号槽将“帧就绪、推理完成、统计更新、异常告警”等事件回传主线程，从而避免长耗时的模型前向阻塞界面刷新。老思在实现中更强调“状态机式”的运行逻辑：输入源切换、模型切换、播放控制、阈值调参等操作都会显式改变系统状态，并以可追踪的日志与 UI 状态提示约束用户操作顺序，降低误操作引起的推理抖动与资源泄漏风险。

数据侧以 SQLite 维护用户表、配置表与历史结果表，实现“账号空间隔离”和“结果可追溯”。检测结果在界面中以叠框渲染与类别统计同步呈现，同时支持导出图像/视频帧、结构化结果文件以及入库保存；当用户重新登录时，系统自动恢复上次使用的模型、主题与阈值配置，使交互体验与实验复现都具有一致的起点。

图 系统流程图

图注：系统从初始化到多源输入，完成预处理、推理与界面联动，并通过交互形成闭环。

6.2 登录与账户管理 — 流程图

登录与账户管理模块以 SQLite 为中心完成“注册写入—登录校验—配置恢复—历史加载”的闭环，进入主界面后，用户对头像、密码与偏好项的修改会被持久化到用户配置表，从而在下一次会话中自动恢复阈值、主题与上次使用的模型权重；这种设计使检测流程与账户体系在控制层通过信号槽自然衔接：登录成功触发配置加载与资源初始化，注销则触发推理线程安全停机并回收模型句柄，避免不同用户间的结果与参数混用，同时也让系统能够以“用户为单位”管理历史检测记录与导出文件，便于后续审计、复盘与对比实验的复现。

---

7. 下载链接

    若您想获得博文中涉及的实现完整全部资源文件（包括测试图片、视频，py, UI文件，训练数据集、训练代码、界面代码等），这里见可参考博客与视频，已将所有涉及的文件同时打包到里面，点击即可运行，完整文件截图如下：

完整资源中包含数据集及训练代码，环境配置与界面中文字、图片、logo等的修改方法请见视频，项目完整文件请见项目介绍及功能演示视频处给出：➷➷➷

功能效果展示视频：人脸表情识别系统YOLOv12-v11至v5（八个模型，含示例论文）合集（完整Python项目演示，UI界面，含论文等）

环境配置博客教程：（1）Pycharm软件安装教程；（2）Anaconda软件安装教程；（3）Python环境配置教程；
或者环境配置视频教程：（1）Pycharm软件安装教程；（2）Anaconda软件安装教程；（3）Python环境依赖配置教程
数据集标注教程（如需自行标注数据）：数据标注合集

---

8.参考文献

1 EKMAN P. An argument for basic emotions[J]. Cognition and Emotion, 1992, 6(3-4): 169-200.
2 PANTIC M, ROTHKRANTZ L J M. Automatic analysis of facial expressions: The state of the art[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(12): 1424-1445.
3 LI S, DENG W, DU J. Reliable crowdsourcing and deep locality-preserving learning for expression recognition in the wild[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017: 2584-2593.
4 MOLLAHOSSEINI A, HASANI B, MAHOOR M H. AffectNet: A Database for Facial Expression, Valence, and Arousal Computing in the Wild[J]. IEEE Transactions on Affective Computing, 2019, 10(1): 18-31.
5 KOLLIAS D, TZIRAKIS P, NICOLAOU M A, et al. Deep Affect Prediction in-the-Wild: Aff-Wild Database and Challenge, Deep Architectures, and Beyond[J]. International Journal of Computer Vision, 2019, 127: 907-929.
6 李珊, 邓伟洪. 深度人脸表情识别研究进展[J]. 中国图象图形学报, 2020, 25(11): 2306-2320.
7 张淼萱, 张洪刚. 人脸表情识别可解释性研究综述[J]. 计算机学报, 2024, 47(12): 2803-2818.
8 HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016: 770-778.
9 TAN M, LE Q. EfficientNet: Rethinking model scaling for convolutional neural networks[C]//Proceedings of the 36th International Conference on Machine Learning (ICML). 2019: 6105-6114.
10 HOWARD A, SANDLER M, CHU G, et al. Searching for MobileNetV3[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). 2019: 1314-1324.
11 DOSOVITSKIY A, BEYER L, KOLESNIKOV A, et al. An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale[C]//International Conference on Learning Representations (ICLR). 2021.
12 LIU Z, LIN Y, CAO Y, et al. Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). 2021: 10012-10022.
13 XUE F, WANG Q, TAN Z, et al. Vision Transformer With Attentive Pooling for Robust Facial Expression Recognition[J]. IEEE Transactions on Affective Computing, 2023, 14(4): 3244-3256.
14 MA F, SUN B, LI S. Transformer-Augmented Network With Online Label Correction for Facial Expression Recognition[J]. IEEE Transactions on Affective Computing, 2024, 15(2): 593-605.
15 LIU Y, WANG W, FENG C, et al. Expression snippet transformer for robust video-based facial expression recognition[J]. Pattern Recognition, 2023, 138: 109368.