摘要：多目标检测是智能感知系统的关键能力之一，其在复杂背景、尺度变化、遮挡与实时性约束下的鲁棒识别，直接影响工业质检、视频监控与移动端部署等应用效果。本文（老思）围绕基于深度学习的多目标检测系统，介绍从数据集构建与标注规范、模型选择与训练策略到推理部署与可视化交互的完整实现流程。系统以端到端检测网络为核心，结合多尺度特征融合与后处理策略，实现对多类别目标的稳定定位与分类，并支持图片/视频/摄像头等多源输入、置信度与阈值可调、检测结果叠加显示与统计分析等功能。在实验部分，本文通过标准指标（如 $mA{P}_{50\text{–}95}$、Precision、Recall、F1-Score）对模型性能与速度开销进行评估，分析不同网络规模与推理加速方案在精度与实时性之间的权衡。最终构建的系统在保证可用精度的同时满足在线检测需求，为多目标检测在实际业务场景中的落地提供可复用的工程参考。

---

功能效果展示视频：多目标检测系统YOLOv12-v11至v5（八个模型，含示例论文）合集（完整Python项目演示，UI界面，含论文等）

➷点击跳转至文末所有涉及的完整代码文件下载页☇

---

1. 前言综述

在智能制造与工业视觉场景中，多目标检测系统承担着“在复杂背景下同时完成定位与分类”的基础职能，其输出不仅直接影响后续的装配引导、质量追溯与库存管理等业务链路，也决定了系统能否在边缘端以可接受的时延稳定运行。早期工业视觉更依赖手工特征与浅层分类器的组合范式，其中尺度不变特征（SIFT）为跨尺度匹配与局部描述提供了经典基元，但在强反光、遮挡与类内差异显著的机械器件环境中往往需要大量经验性规则补偿。1 以梯度直方图（HOG）为代表的方向梯度统计特征在目标外形轮廓建模上表现稳健，却对纹理弱、尺度跨度大与背景干扰强的场景仍较敏感。2 可变形部件模型（DPM）通过显式建模部件与几何约束提升了对形变与遮挡的适应性，但其训练与推理复杂度较高，难以满足实时多源输入的工程需求。3

深度学习的兴起推动检测范式从“特征工程”转向“表示学习”，两阶段检测器将候选框生成与分类回归解耦，在精度上长期占优，其中 Faster R-CNN 通过区域建议网络（RPN）将候选框生成融入端到端训练，成为通用检测系统的重要基线。4 面向实时性约束，单阶段检测器以密集预测替代候选框机制，SSD 通过多尺度特征图上的默认框实现一次前向完成定位与分类，为实时检测工程化奠定了可复用的结构模板。5 YOLO 将检测任务显式建模为回归问题并以单网络端到端推理显著提升吞吐，使“检测即服务”的在线化部署成为可能，也推动了后续 YOLO 系列在工业边缘端的广泛落地。6 与此同时，大规模数据集与统一评测协议对算法迭代起到关键牵引作用，MS COCO 通过复杂场景与多目标共现标注推动检测器在泛化与鲁棒性方面的持续进化。7

围绕尺度变化与小目标漏检等核心痛点，多尺度特征融合成为检测网络的结构共识，FPN 通过自顶向下与横向连接构建语义一致的金字塔特征，显著缓解了小目标在高层语义特征中被稀释的问题。8 针对单阶段检测中前景-背景样本极度不均衡导致的训练退化，Focal Loss 以动态降权易分类样本的方式提升困难样本学习效率，并由此催生 RetinaNet 等高精度单阶段体系。9 近年来，Transformer 的引入进一步改变了检测建模方式，DETR 将检测视为集合预测并以二分匹配损失替代传统 NMS/Anchor 设计，展示了从结构先验走向全局关系建模的可能路径。10 在主干网络演化方面，Swin Transformer 通过分层特征与移位窗口注意力兼顾全局建模与计算效率，为检测与分割等密集预测任务提供了更强的表征基础。11 面向通用目标检测的系统化综述进一步指出，检测器的性能提升往往来自数据、结构、损失与训练策略的协同优化，而并非单点技巧的堆叠。12

然而，将上述通用进展迁移到“机械器件识别”这一任务域仍面临一组更具工程约束的技术难点：其一，零件间常存在强外观相似与细粒度差异（如孔径、倒角、齿形、纹理微差），导致分类边界更依赖高分辨细节与稳定的尺度对齐；其二，工业现场照明条件与材质反光带来显著的域偏移与噪声分布变化，使得在公开数据集上预训练的模型出现置信度漂移；其三，多目标共现与遮挡频发，叠加小目标占比高，易引发漏检与错检并放大后处理阈值选择的敏感性。针对工业视觉中更广义的缺陷/目标识别问题，国内高水平综述已将“小样本、强噪声、弱纹理与高实时性”归纳为长期瓶颈，并强调需要从数据体系与模型鲁棒性两个层面同步改进。13 以零件识别为例，已有研究通过改进 YOLOv3 的特征融合尺度与 Anchor 聚类稳定性提升中小型零件检测性能，体现了“针对任务统计特性做结构与先验适配”的必要性。14 也有工作在 YOLOv5s 框架内引入轻量化模块、改进金字塔融合与注意力机制，在精度、速度与模型体积之间取得更可用的折中，为边缘设备部署提供了直接参考。15

在算法继续演化的当下，YOLO 系列仍在沿着“更强表征与更高效率兼顾”的方向推进，最新的 YOLOv12 以注意力为中心的实时检测框架尝试在保持吞吐的同时进一步提升精度上限，为实时工业检测系统提供了新的基线选择与改造空间。16 因而，本博客（老思）聚焦于基于 PySide6 与 YOLO 系列（v5–v12）的机械器件多目标检测系统落地：一方面在同一任务数据集上对比多代 YOLO 模型的精度与速度表现，并结合任务特征给出可复用的训练与部署经验；另一方面面向工程可用性构建完整系统形态，包括数据集标注与划分规范、推理可视化与结果导出、以及基于 SQLite 的账户与结果持久化管理。整体而言，本文的主要贡献在于：将 YOLO 系列检测器系统化应用于机械器件识别这一真实场景任务，构建并清洗标注专用数据集并完成训练评测闭环，同时以 PySide6 设计可交互的桌面端检测系统界面并整理可复现的代码与资源包，降低读者复现与二次开发成本。

相关研究简表（面向“方法—数据—优缺点—改进点”的快速对照）

代表工作	方法类别	典型数据/评测	优点	局限与启示
Faster R-CNN	两阶段（RPN+RoI）	VOC/COCO	精度稳定、可解释性强	实时性与端侧部署压力较大，适合作为高精度基线对照4
SSD / YOLOv1	单阶段（密集预测）	VOC/COCO	结构简洁、速度优势明显	小目标与尺度变化敏感，依赖多尺度融合与训练策略补强5
FPN / Focal Loss	结构与损失改进	COCO	明确解决尺度与样本不均衡痛点	属于通用“可迁移组件”，在工业小目标中价值更突出8
改进 YOLOv3（零件识别）	工业任务定制	自建零件集	面向中小零件漏检做结构适配	提示需结合零件尺度分布与先验框统计做针对性优化14
改进 YOLOv5s（机械零件检测）	轻量化+融合+注意力	工业零件集	精度/速度/体积折中更适合端侧	说明“轻量化并不等于降精度”，关键在于结构选择与融合策略15
YOLOv12	新一代实时检测	COCO 等	以注意力机制探索更高精度上限	为后续工业定制改进提供更强起点，但仍需任务域数据与部署验证16

---

主要功能演示：

系统的主要功能演示可以从“账户体系—主界面—算法切换—交互外观”这条用户操作链展开描述，使读者在不看代码的情况下也能把握系统如何被实际使用。首先在注册与登录环节，系统提供独立的登录窗口作为入口，用户可选择已有账号直接登录，或进入注册流程创建新账号。注册信息写入 SQLite 后，登录阶段通过查询校验完成身份验证，并在成功进入主界面时加载该用户的历史检测记录、常用阈值参数与个性化界面配置，从而将“身份”与“配置、数据、结果”绑定到同一用户空间；这类设计在多用户共用一台工控机或实验室终端时尤其重要，因为它能够避免不同操作者之间的检测结果互相覆盖，同时也方便后续以用户维度进行结果追溯与审计。

进入主界面后，页面布局遵循典型的“控制区—显示区—信息区”三段式组织：左侧或上侧集中放置输入源与推理控制按钮，包括图片选择、文件夹批量检测、视频导入与摄像头启动等；中部为可视化显示区，用于呈现原始帧与叠加检测框后的结果帧，并支持缩放、适配窗口与帧间切换；右侧或下侧的信息区则以表格与标签的形式展示当前帧检测到的目标类别、置信度、目标数量统计以及推理耗时等关键指标，并提供结果保存与导出入口。该布局的价值在于将“操作入口”与“视觉反馈”保持空间邻近，同时将不需要持续关注但必须可追溯的信息（如统计与日志）固定在信息区，降低用户在实时检测时的认知负担。

在模型选择方面，系统在主界面中提供模型管理与切换控件，默认加载轻量级实时检测模型（如 YOLOv12n）以满足现场实时性需求，同时支持导入并切换不同 YOLO 系列权重（例如从 YOLOv5 到 YOLOv12 的多个版本），以便在同一数据集与同一输入源上进行横向对比。切换流程通常是“选择模型→加载权重与类别映射→初始化推理器→刷新状态栏与提示信息”，并通过信号-槽机制在模型加载完成后再允许开始推理，避免推理线程与 UI 线程资源竞争导致界面卡顿。对用户而言，这一设计使得“速度优先/精度优先”的策略可以通过模型规模直接调节：轻量模型用于在线检测，较大模型用于离线复核或高精度分析，从而形成工程上更可控的部署方案。

主题修改则面向系统的可用性与长期使用体验：系统支持在浅色/深色主题之间切换，并允许用户在不改动核心推理代码的情况下修改界面背景、图标与字体样式，必要时还可对关键按钮的布局与文案进行个性化调整。更关键的是，主题与界面偏好会与用户账户绑定并持久化存储，在下次登录时自动恢复，从而保证不同用户在同一设备上能保持一致的交互习惯。对工业现场而言，深色主题往往更适合低照度环境并减少长时间监看带来的视觉疲劳，而浅色主题便于在强光环境下辨识文本与表格信息；将主题作为“可配置而非硬编码”的功能点，能够显著提升系统在多场景下的适配性。

---

2. 数据集介绍

本项目的目标检测数据集共包含 8,449 张图像，面向多类别、多目标共现的检测场景构建，旨在同时覆盖“真实照片域”（自然光/复杂背景/遮挡与尺度变化）与“插画/图像素材域”（纹理统计与边缘形态差异显著）两类视觉分布，从而在训练阶段显式引入域内差异，提高模型在跨场景输入下的稳健性。数据集中每张图像以 YOLO 标注格式记录目标类别与边界框（归一化坐标），便于与 YOLOv5–YOLOv12 系列训练管线无缝对接；从可视化批次结果可以直观看到，样本既包含单目标的“完整显著目标”，也包含多目标同时出现、目标尺度跨度较大的复杂样本，这对于检验检测器的多尺度表征与后处理稳定性尤为关键。

在数据划分上，数据集按照训练/验证/测试三部分组织，分别为 5,377 张、1,872 张与 1,200 张（总计 8,449 张），保证了训练学习与泛化评估的相对独立性。预处理阶段通常采用与 YOLO 系列一致的尺度归一策略（如 Letterbox 等比例缩放并填充）将输入统一到 $640\times 640$，以减少尺度差异对 batch 训练稳定性的影响；同时在训练阶段引入常用的数据增强（如 Mosaic、随机翻转、颜色扰动等）以扩展有效样本空间并缓解过拟合。结合标签分布可视化图（$x,y,w,h$ 的归一化统计），目标中心位置整体更集中于图像中部区域，而宽高分布呈现“以中小目标为主、兼具少量大目标”的长尾特征；从训练/验证批次样例亦可观察到，-pigeon- 等类别在样本中出现更为频繁，而部分插画类目标相对稀疏，这意味着训练时需要合理设置采样与增强强度，并在评测阶段关注长尾类别的召回与误检行为。老思建议在后续实验中同时报告整体 $mA{P}_{50\text{–}95}$ 与按类指标，以避免高频类别掩盖低频类别的性能短板。

📊 数据集规格说明 (Dataset Specification)

维度	参数项	详细数据
基础信息	标注软件	LabelImg
	标注格式	YOLO TXT (Normalized)
数量统计	训练集 (Train)	5,377 张 (63.64%)
	验证集 (Val)	1,872 张 (22.16%)
	测试集 (Test)	1,200 张 (14.20%)
	总计 (Total)	8,449 张
类别清单	Class ID: 0	-angel-（天使）
	Class ID: 1	-apple-（苹果）
	Class ID: 2	-book-（书）
	Class ID: 3	-carnation-（康乃馨）
	Class ID: 4	-clock-（计时器）
	Class ID: 5	-crown-（皇冠）
	Class ID: 6	-dog-（狗）
	Class ID: 7	-key-（钥匙）
	Class ID: 8	-lily-（百合）
	Class ID: 9	-mother-（圣母）
	Class ID: 10	-orange-（橙子）
	Class ID: 11	-pigeon-（鸽子）
	Class ID: 12	-pomegranate-（石榴）
	Class ID: 13	-rose-（玫瑰）
	Class ID: 14	-skull-（骷髅）
	Class ID: 15	-snake-（蛇）
图像规格	输入尺寸	640 * 640
	数据来源	混合数据集 / 实地拍摄与公开图像 (手动清洗)

---

3. 模型设计与实现

本系统的检测核心以 Ultralytics 框架为工程底座，默认选用 YOLOv12n 作为基线模型，并保留对 YOLOv5–YOLOv12 系列权重的兼容加载能力，使得“同一数据、同一推理管线、不同代际模型”的公平对比成为可能。站在实现角度看，YOLO 系列在 Ultralytics 中被抽象为 YAML 驱动的模块化网络：主干（Backbone）负责多层次特征提取，颈部（Neck）完成多尺度特征融合，检测头（Head）将融合后的特征映射为类别与边界框的预测输出。这样的三段式分解并非形式化拆分，而是与目标检测的统计特性直接对应：主干学习“纹理/边缘/形状”等逐层抽象的表征，颈部将不同分辨率下的语义信息对齐，小尺度层偏向小目标，大尺度层偏向大目标，检测头在多尺度特征上完成稠密预测并输出最终候选框集合。工程上，这一结构还带来一个直接收益：在不改变训练脚本和 UI 推理接口的前提下，可以通过替换主干（如引入更轻量的 MobileNet/EfficientNet 风格骨干）或替换融合结构（如调整 PAN/FPN 的深度与连接）来实现“速度—精度”的可控折中。

与传统 CNN 主导的 YOLO 变体相比，YOLOv12 更强调注意力机制在表征建模中的作用，其核心设计思路是在保持实时性约束的前提下，引入更强的全局关系建模能力。具体到模块层面，YOLOv12 采用 Area Attention 将特征图划分为若干区域并在区域内进行高效注意力计算，以降低标准自注意力在高分辨率特征上的计算与访存开销；同时引入面向优化稳定性的 R-ELAN（Residual Efficient Layer Aggregation Networks），通过块级残差与更合理的聚合路径缓解注意力堆叠带来的梯度不稳定问题，并在注意力分支中配合“位置感知器”（如 $7\times 7$ 可分离卷积）实现隐式位置编码，从而在不显式引入复杂位置编码的情况下保持定位敏感性。对目标检测而言，这类改动的价值往往体现在“遮挡与背景干扰更强时的可分性提升”，也即模型能更稳定地区分前景目标与相似纹理背景。
在检测头设计上，本系统沿用 Ultralytics YOLO 的主流实现范式：检测头对每个尺度输出类别置信与边界框回归量，并在推理阶段通过置信度阈值筛选与（NMS 或相应解码策略）得到最终结果。考虑到你当前数据集存在显著的尺度变化与多目标共现，训练时需要让不同尺度输出在损失中承担合理权重，以避免模型只对“显著大目标”过拟合而牺牲小目标召回。损失函数通常可写为三项之和：分类损失、框回归损失与分布式回归（若使用 DFL）或目标性相关项，其一般形式可概括为
$$L={\lambda }_{\text{box}}{L}_{\text{IoU}}+{\lambda }_{\text{cls}}{L}_{\text{cls}}+{\lambda }_{\text{dfl}}{L}_{\text{dfl}}.$$
其中，$L_{\text{cls}}$ 常用 BCE 或其变体衡量类别预测与真实标签之间的偏差；$L_{\text{IoU}}$ 使用 IoU 家族损失刻画几何对齐误差，在工程实现中常见的选择是 CIoU/EIoU 等以兼顾重叠面积、中心距离与长宽比约束；当采用分布式回归时，$L_{\text{dfl}}$ 通过离散分布拟合连续边界，通常能改善回归的细粒度稳定性。对本任务而言，若数据中存在较多“细长目标”或“局部遮挡目标”，CIoU 一类损失对收敛速度与最终定位精度的帮助会更明显，但也更依赖合理的学习率策略与增强强度，否则容易出现早期震荡。

为了保证系统端到端可复用，本项目在实现层面将“模型结构”与“推理接口”解耦：训练阶段通过 Ultralytics 统一接口完成数据加载、增强与优化器调度；推理阶段在 Detector 模块中封装权重加载、预处理（如 Letterbox 到 $640\times 640$）、前向推理与后处理，并把结果（类别、置信度、坐标与统计信息）以信号-槽机制回传 UI 层渲染。这样设计的直接结果是，模型替换不会引发界面逻辑重写；你只需更换权重文件或切换模型名，系统即可在同一套可视化与导出模块下完成多模型对比。

---

4. 训练策略与模型优化

本系统的训练流程以 Ultralytics YOLO 训练框架为主线组织，核心目标是在保证检测精度的同时，使模型在桌面端与潜在边缘端部署下具备稳定的实时推理能力。工程实现上，训练环境建议采用 Python 3.12、CUDA 12.x 与 PyTorch 对应版本的组合，GPU 以 RTX 4090 为参考配置，以确保在 $640\times 640$ 输入分辨率下能够承载较强的数据增强与较大的 batch 规模。为了减少从零训练带来的收敛风险，训练默认开启预训练权重（pretrained=true），其作用不仅是加速收敛，更重要的是为“自然照片域+插画域”的混合分布提供更稳健的初始表征；在混合域数据集中，预训练往往能显著降低早期阶段的梯度震荡，使分类分支先形成可用的语义分离，再逐步由回归分支细化定位精度。

在超参数设置上，本项目采用偏“通用稳健”的配置以避免对特定数据集过拟合。训练轮数设置为 epochs=120，并结合 patience=50 的早停机制，使训练在验证集性能长期无提升时自动终止，从而避免后期在强增强条件下出现的“训练集继续拟合、验证集性能回落”的过拟合趋势。批大小使用 batch=16，在 4090 上通常能够兼顾吞吐与梯度估计稳定性；输入尺寸固定为 imgsz=640，该尺度在 YOLO 系列中属于经验上较均衡的选择，既能保留中小目标的有效像素，又不至于让显存开销与推理延迟不可控。学习率与优化器方面，optimizer=auto 交由框架选择更匹配当前模型与 batch 的优化器策略，初始学习率 lr0=0.01 配合余弦或分段下降策略，末端学习率比例 lrf=0.01 用于保证后期仍有足够小的步长做精细收敛；动量 momentum=0.937 与权重衰减 weight_decay=0.0005 是面向检测任务较常见的稳健组合，其中权重衰减相当于对参数施加 $L_2$ 约束，有助于抑制特征过度尖锐化并改善泛化。为了进一步缓解训练初期的不稳定，设置 warmup_epochs=3.0 进行学习率预热，使模型在前几个 epoch 以更小步长逐步进入有效学习区间，尤其适用于启用 Mosaic 等强增强时的早期收敛。

数据增强策略是该任务域中决定泛化能力的关键因素之一。默认启用 mosaic=1.0，其通过在单张训练样本中拼接多图显著增加目标尺度与上下文多样性，通常能提升小目标召回与多目标共现场景的鲁棒性，但代价是后期可能带来定位细节“偏粗”的倾向。因此训练中使用 close_mosaic=10，即在训练末期关闭 Mosaic，让网络在更接近真实分布的单图上完成定位细化，这一做法在工程中往往能同时获得更好的 $mA{P}_{50\text{–}95}$ 与更稳定的框回归表现。若你的数据集中插画/素材类样本占比偏高，建议控制颜色扰动幅度并适当增加随机仿射与尺度扰动，以促使模型学到更具结构性的形状线索而非依赖颜色纹理；反之，如果真实照片域占比更高，则应关注曝光、白平衡与反光导致的强光斑噪声，可通过亮度/对比度扰动与随机模糊增强模型对成像波动的适应性。

迁移学习与微调策略方面，建议采用“两阶段”思路以兼顾稳定与上限：第一阶段冻结部分主干层（或在较低学习率下整体训练）快速建立类别可分性与基本定位能力；第二阶段解冻全网络并降低学习率进入精调，以提升边界框回归的细粒度对齐。对于 YOLO 系列而言，冻结策略的收益通常体现在训练更稳定、对小数据集更友好，而在样本规模达到你当前的 8k 量级后，完全微调往往能进一步抬升上限，但需要配合更严格的正则化与更合理的增强退火（如关闭 Mosaic、降低强仿射概率）来避免后期泛化回落。若验证集出现“分类提升但定位不升”的现象，通常意味着模型已学到语义区分但回归分支受增强噪声或学习率尾部过大影响，此时更有效的做法往往是降低末端学习率、提前关闭强增强、或提高与定位相关的损失权重，而不是单纯延长训练轮数。

最后，从推理侧的模型优化出发，为满足实时系统的交互体验，应将训练得到的权重进行部署友好化处理。常见做法包括导出 ONNX/TensorRT 以获得更高吞吐，并在 UI 推理中统一采用与训练一致的预处理（Letterbox 到 $640\times 640$）与阈值控制，避免因缩放策略不一致导致置信度漂移。对阈值而言，置信度阈值 ${\tau }_{\text{conf}}$ 与 IoU 阈值 ${\tau }_{\text{IoU}}$ 的选择本质是在漏检与误检之间做权衡：当任务更偏向“宁可多报也不漏报”（如安全监测）可适当降低 ${\tau }_{\text{conf}}$ 并提高后处理过滤强度；当任务更偏向“少误报、结果可直接驱动执行机构”（如自动分拣/装配引导）则应提高 ${\tau }_{\text{conf}}$ 并结合验证集统计选择更保守的阈值区间。将这些阈值作为 UI 可调参数，并与账户体系绑定持久化保存，可以让不同用户根据不同工位与光照条件快速完成部署侧的个性化校准，从而把训练阶段的性能优势稳定转化为实际使用体验。

---

5. 实验与结果分析

本节在同一数据集划分与统一训练策略（输入尺寸 $640\times 640$、相同增强与优化器调度）下，对 YOLO 系列多种轻量/小型模型进行横向对比，目标是从“检测精度—召回能力—推理时延—模型复杂度”四个维度评估其在本项目多目标场景中的适用性。实验按两组规模展开：其一为 n-type（nano 级别），包括 YOLOv5nu、YOLOv6n、YOLOv7-tiny、YOLOv8n、YOLOv9t、YOLOv10n、YOLOv11n、YOLOv12n；其二为 s-type（small 级别），包括 YOLOv5su、YOLOv6s、YOLOv7、YOLOv8s、YOLOv9s、YOLOv10s、YOLOv11s、YOLOv12s。所有模型的预处理、推理与后处理时间（Pre/Inf/Post）均在同一硬件环境（NVIDIA GeForce RTX 3070 Laptop GPU, 8GB）上统计，从而保证速度结论具备可比性。

评价指标采用目标检测通用协议：Precision、Recall 与 $F1$ 反映检出质量与漏检权衡，$mAP@0.5$ 衡量 IoU=0.5 阈值下的整体检测能力，$mA{P}_{50\text{–}95}$ 则更严格地考察不同 IoU 阈值上的综合性能。其核心计算关系为
$$\text{Precision}=\frac{TP}{TP+FP},\text{Recall}=\frac{TP}{TP+FN},F1=\frac{2\cdot \text{Precision}\cdot \text{Recall}}{\text{Precision}+\text{Recall}}.$$
其中 $TP/FP/FN$ 分别表示正确检出、误检与漏检数量。为了将这些指标转化为可部署的阈值设置依据，我们同时绘制 PR 曲线与 F1-Confidence 曲线（如下 PR 曲线图、F1 曲线图所示），并结合混淆矩阵对易混类别进行诊断（如下混淆矩阵图所示）。

在 n-type 对比中，YOLOv12n 在 Precision 上取得最高值（0.866），并保持较高的 $F1$（0.843），体现出其对误检控制能力较强且整体预测更“谨慎”；YOLOv11n 的 Recall 最高（0.858）且 $F1$ 与 YOLOv12n 接近（0.841），说明其更偏向“多检出、少漏检”的工作点，适合对漏检敏感的应用；YOLOv9t 的 $mA{P}_{50}$ 最高（0.888），且 $mA{P}_{50\text{–}95}$ 也达到 0.705，是该组中定位与分类综合最优者之一。与之形成对照的是 YOLOv7-tiny，在 Precision/Recall/F1 与 $mAP$ 上均显著落后（$mA{P}_{50}=0.517$，$mA{P}_{50\text{–}95}=0.291$），其主要问题并非单纯“速度慢或参数少”，而是该变体在当前数据分布下的特征表达与训练稳定性不足，导致高比例漏检与类别判别失败，这一点也与后续 PR 曲线整体下移的现象一致。就推理耗时而言，YOLOv6n 与 YOLOv8n 的 InfTime 最低（分别约 6.78 ms 与 6.83 ms），在保证较高 $mA{P}_{50}$（0.867 与 0.872）的同时具备较好的实时性；而 YOLOv9t 虽然精度领先，但 InfTime 达到 16.51 ms，说明其在该硬件上的延迟成本更高，更适合离线复核或对实时性要求略低的工位。综合考虑“精度—速度—参数量”，本系统默认采用 YOLOv12n 作为 UI 在线检测的主模型更为稳健，而在对精度上限敏感的离线分析场景，可将 YOLOv9t 作为备选提升 $mA{P}_{50\text{–}95}$。

在 s-type 对比中，模型规模增大带来更高的性能上限，同时也引入更明显的推理时延差异。YOLOv10s 在该组取得最高 $mA{P}_{50}$（0.900）与最高 $mA{P}_{50\text{–}95}$（0.712），同时 Recall 也达到 0.850，说明其在“检得全”与“框得准”之间达成了较优平衡；YOLOv9s 的 Recall 更高（0.831）且 $F1$ 达到 0.852，并取得 $mA{P}_{50\text{–}95}=0.714$ 的组内最高值，体现出其在更严格 IoU 评估下定位质量优势明显。YOLOv11s 的 Precision 最高（0.883），但 Recall 相对偏低（0.800），导致 $F1$ 与 $mA{P}_{50}$ 不占优，说明它的阈值工作点更偏向抑制误检；这类模型在“误检代价高”的场景有实用价值，但需要通过阈值调优来弥补召回。速度方面，YOLOv8s 的 InfTime 最低（7.66 ms）且精度表现稳定（$mA{P}_{50}=0.873$），是“速度优先”的典型选择；YOLOv9s 与 YOLOv12s 的 InfTime 较高（18.66 ms 与 13.23 ms），适合对精度更敏感、但仍希望维持可交互体验的桌面端部署。需要强调的是，YOLOv7（非 tiny）在 s-type 中同样表现不佳（$mA{P}_{50}=0.511$），并且 InfTime 高达 23.62 ms，呈现出“慢且不准”的双重劣势，因此在本任务上不建议作为主力模型。

从训练过程与收敛行为来看，训练曲线（如下 results 图所示）显示 box/cls/dfl 三类损失在训练集与验证集上均呈稳定下降并在后期趋于平稳，Precision、Recall 与 $mAP$ 在约 20–40 epoch 内快速上升、随后进入平台期，说明当前训练轮数与学习率退火能够支撑模型充分收敛，同时未出现明显的验证集反弹型过拟合。

F1-Confidence 曲线（如下 F1 曲线图所示）给出了一个具有直接部署意义的结论：全类别最优 $F1\approx 0.85$ 对应的置信度阈值约为 0.483，这意味着系统在 UI 默认阈值设置上不宜过低（会引入更多 FP）也不宜过高（会显著牺牲召回），将 conf 初始值设置在 0.45–0.55 区间通常更稳健，并允许用户按工位误检容忍度微调。

进一步观察类别层面的 PR 曲线（如下 PR curve 图所示），大多数类别的 AP@0.5 维持在 0.90 左右甚至更高（例如 -pomegranate- 0.992、-snake- 0.982、-crown- 0.971、-mother- 0.970），说明模型对纹理/形状差异明显的目标具有很强的可分性；然而 -angel- 的 AP 仅为 0.528，-key- 0.755、-orange- 0.781 也相对偏低，呈现出典型的“少数困难类”现象。

结合混淆矩阵（如下混淆矩阵图所示）可以看到，困难类更容易被预测为背景或被混淆到语义相近/外观相近类别，根因通常来自三方面：其一是该类样本数量或有效多样性不足，导致模型对其判别边界学习不充分；其二是目标形态在插画域与真实照片域间差异过大，引发域偏移；其三是目标局部结构细节对分辨率更敏感，在 $640\times 640$ 下小目标有效像素不足。对这些类别的优化路径也更明确：优先补充困难类在不同背景、尺度、光照与绘画风格下的样本；其次在训练策略上对困难类采用更强的尺度增强与 Copy-Paste 类增强以提升其出现概率；同时在推理端可对困难类适当降低类别阈值并配合 UI 的二次确认机制（例如“疑似目标列表/人工复核”），以降低漏检风险。

综合 n-type 与 s-type 的结果可以形成一条较清晰的部署建议：若系统强调实时交互与资源占用，YOLOv8n/YOLOv6n 是速度友好且精度稳定的方案，而 YOLOv12n 在保持较强精度的同时对误检控制更好，适合作为默认在线模型；若系统更关注精度上限，尤其是 $mA{P}_{50\text{–}95}$ 的定位质量，YOLOv9t（n-type）与 YOLOv10s/YOLOv9s（s-type）更具优势，但需要接受更高推理延迟。本文后续的 UI 系统实现将把这种“按场景切换模型”的逻辑固化为可视化功能，使用户能够基于当前工位的时延预算与错误代价快速选择合适的检测器。

---

6.系统设计与实现

6.1 系统设计思路

本系统面向“多源输入、实时推理、可交互可追溯”的目标检测应用，整体采用分层解耦的桌面端架构：界面层以 PySide6 承担交互与渲染，处理层封装 YOLO 推理与后处理逻辑，数据层以 SQLite 提供账户与结果持久化。老思在实现时刻意将“模型能力”与“系统能力”区分开来：模型负责给出每一帧的候选框、类别与置信度，系统负责把推理过程组织成可控的流水线，并把输出转化为用户可操作、可保存、可复现的结构化信息，这样才能保证后续替换 YOLOv5–YOLOv12 任意权重时，UI 与数据模块无需重写。

在控制流层面，MainWindow 作为中枢调度器，负责输入源状态管理、按钮槽函数编排与推理线程生命周期控制；Ui_MainWindow 只承载控件布局与样式配置，避免业务逻辑渗入界面文件；Detector 作为处理层核心，完成权重加载、预处理（Letterbox/归一化）、前向推理与后处理（阈值筛选、NMS、统计汇总），并通过 Qt 的信号-槽把结果以“帧图像+结构化检测列表”的形式回传界面。该对象组合方式的关键收益在于跨层通信边界清晰：界面不直接触碰模型张量，Detector 不依赖具体控件实例，从而降低耦合并提升可维护性。

为了支撑工程侧的“可用性”，系统把高频调参点（如 conf、iou、类别过滤）设计为界面可调，并把保存/导出作为推理链路的自然分支：用户既可以保存叠加检测框的结果图/视频，也可以将检测记录（时间戳、输入源、类别、置信度、坐标、统计量）写入 SQLite 或导出为文件，以满足实验复现与业务追溯。输入源方面，图片、视频与摄像头被抽象为统一的帧流接口，播放控制（开始、暂停、单帧、停止）只对帧流操作，从而保证多源输入的逻辑一致性。

图 系统流程图（Mermaid），直接给出可以下载的图片文件

图注：系统从初始化到多源输入，完成预处理、推理与界面联动，并通过交互形成闭环。

6.2 登录与账户管理 — 流程图

登录与账户管理的设计并不只是“能登录即可”，而是把用户身份作为系统状态的一部分，使检测阈值、主题偏好与历史结果在不同操作者之间天然隔离。具体而言，注册阶段将账号信息写入 SQLite，登录阶段完成查询校验后立即加载该用户的个性化配置（例如 conf、iou、常用模型、主题配色、导出路径等）以及历史检测记录，并将其注入到主界面的状态管理中；因此主检测流程从一开始就处于“有主”的工作空间，而非临时会话。资料修改（头像、密码）与注销/切换账号则提供了持续使用的闭环：前者保证同一用户长期迭代时配置可持续演进，后者保证在多用户共用设备时能够快速清空会话并恢复到登录入口。这样一来，账户体系不仅提升了交互体验，也让结果持久化、阈值校准与模型切换具备明确的归属关系，便于后续在 UI 内实现按用户维度的检索、筛选与统计分析。

---

7. 下载链接

    若您想获得博文中涉及的实现完整全部资源文件（包括测试图片、视频，py, UI文件，训练数据集、训练代码、界面代码等），这里见可参考博客与视频，已将所有涉及的文件同时打包到里面，点击即可运行，完整文件截图如下：

完整资源中包含数据集及训练代码，环境配置与界面中文字、图片、logo等的修改方法请见视频，项目完整文件请见项目介绍及功能演示视频处给出：➷➷➷

功能效果展示视频：多目标检测系统YOLOv12-v11至v5（八个模型，含示例论文）合集（完整Python项目演示，UI界面，含论文等）
环境配置博客教程：（1）Pycharm软件安装教程；（2）Anaconda软件安装教程；（3）Python环境配置教程；
或者环境配置视频教程：（1）Pycharm软件安装教程；（2）Anaconda软件安装教程；（3）Python环境依赖配置教程
数据集标注教程（如需自行标注数据）：数据标注合集

---

8.参考文献

1 Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110. (Springer)
2 Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). 2005: 886-893. (Thoth)
3 Felzenszwalb P F, Girshick R B, McAllester D, et al. Object detection with discriminatively trained part based models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1627-1645. (vision.stanford.edu)
4 Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[C]//Advances in Neural Information Processing Systems. 2015. (NeurIPS Proceedings)
5 Liu W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]//Computer Vision—ECCV 2016. Springer, 2016: 21-37. (Springer)
6 Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016: 779-788. (CV Foundation)
7 Lin T Y, Maire M, Belongie S, et al. Microsoft COCO: Common objects in context[C]//Computer Vision—ECCV 2014. Springer, 2014: 740-755. (Springer)
8 Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017: 2117-2125. (CVF Open Access)
9 Lin T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[C]//Proceedings of the IEEE International Conference on Computer Vision (ICCV). 2017: 2980-2988. (CVF Open Access)
10 Carion N, Massa F, Synnaeve G, et al. End-to-end object detection with transformers[C]//Computer Vision—ECCV 2020. Springer, 2020: 213-229. (Springer)
11 Liu Z, Lin Y, Cao Y, et al. Swin transformer: Hierarchical vision transformer using shifted windows[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). 2021: 10012-10022. (CVF Open Access)
12 Zhao Z Q, Zheng P, Xu S T, et al. Object detection with deep learning: A review[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(11): 3212-3232. (Springer)
13 罗丹琳, 蔡勇鑫, 杨志宏, 等. 工业缺陷检测深度学习方法综述[J]. 中国科学: 信息科学, 2022, 52: 1002-1039. (Science China)
14 宋栓军, 侯中原, 王启宇, 等. 改进YOLOv3算法在零件识别中的应用[J]. 机械科学与技术, 2020. (NWPU Journals)
15 基于改进YOLOv5s网络的机械零件目标检测[J]. 组合机床与自动化加工技术, 2023. (Qikan)
16 Tian Y, et al. YOLOv12: Attention-Centric Real-Time Object Detectors[EB/OL]. arXiv:2502.12524, 2025. (arxiv.org)