摘要

针对自然果园环境中苹果目标检测面临的光照变化、枝叶遮挡及果实密集等挑战,本研究基于YOLOv8目标检测算法构建了一套树上苹果检测系统。实验采用自建苹果图像数据集,包含训练集1355张、验证集77张、测试集39张,目标类别为单一“Apples”类。经过充分训练,模型在验证集上取得了mAP@0.5为0.92、mAP@0.5:0.95为0.92的优异性能。混淆矩阵分析显示,模型对苹果类的正确识别率达到85%,漏检率为15%,误检率极低。精度-召回率曲线下的苹果类AP值为0.89,最佳F1分数达到0.85(对应置信度阈值0.403)。实验结果表明,该YOLOv8模型能够在复杂的自然果园背景下高效、准确地检测树上苹果,具备较强的泛化能力和实用价值,可为智能采摘、果树产量估计等农业自动化任务提供可靠的视觉感知支持。

目录

  摘要

功能模块

1、用户管理模块

2、界面与交互模块

3、检测源管理模块

4、检测参数配置模块

5、YOLO检测核心模块

6、结果显示模块

7、结果保存模块

8、工具栏功能

9、辅助功能

10、数据校验模块

引言

背景

1. 农业生产智能化对果实检测技术的迫切需求

2. 自然果园环境带来的检测技术挑战

数据集介绍

数据集划分与规模

训练过程

训练结果

整体性能概览

混淆矩阵分析(未归一化 & 归一化)

未归一化混淆矩阵​编辑

归一化混淆矩阵​编辑

损失函数与训练曲线(results.png)​编辑

精度-召回率与F1曲线分析

PR曲线​编辑

F1曲线​编辑

P曲线 & R曲线​编辑​编辑


功能模块

用户登录注册:支持密码检测,密码加密。

注册

登录

✅ 图片检测:可对图片进行检测,返回检测框及类别信息。

参数实时调节(置信度和IoU阈值)

✅ 视频检测:支持视频文件输入,检测视频中每一帧的情况。

✅ 摄像头实时检测:连接USB 摄像头,实现实时监测。

日志记录:日志标签页记录操作和错误信息,带时间戳

结果保存模块:支持图片/视频/摄像头检测结果保存

1、用户管理模块

功能 描述
用户注册 用户名、密码、确认密码、邮箱(选填)注册,密码SHA256加密存储
用户登录 用户名密码验证,自动跳转主界面
用户数据存储 JSON文件存储用户信息(密码加密、注册时间、邮箱)
登录状态 主界面显示当前登录用户名

2、界面与交互模块

功能 描述
玻璃效果界面 半透明毛玻璃背景,圆角边框,现代化视觉风格
无边框窗口 自定义标题栏,支持窗口拖动、最小化、最大化、关闭
响应式布局 主窗口三栏布局(左侧控制区、中央显示区、右侧信息区)
状态栏 显示设备信息、模型状态、当前用户、实时时间

3、检测源管理模块

功能 描述
图片检测 支持JPG/JPEG/PNG/BMP格式图片载入
视频检测 支持MP4/AVI/MOV/MKV格式视频载入
摄像头检测 实时调用摄像头(默认ID 0)进行检测
检测源切换 下拉菜单切换三种检测模式,自动更新界面状态

4、检测参数配置模块

功能 描述
置信度阈值 滑动条调节(0-100%,步长1%),实时显示当前值
IoU阈值 滑动条调节(0-100%,步长1%),实时显示当前值
类别选择 动态生成检测类别复选框,支持全选/取消全选
参数同步 参数实时同步到检测器核心

5、YOLO检测核心模块

功能 描述
模型加载 加载best.pt模型文件,自动检测GPU可用性,支持CPU/GPU切换
多模式检测 图片检测、视频检测、摄像头实时检测
检测线程 基于QThread的多线程处理,避免界面卡顿
检测结果 返回目标类别、置信度、边界框坐标
FPS计算 实时计算处理帧率
进度反馈 视频处理进度条实时更新

6、结果显示模块

功能 描述
实时画面 中央区域显示检测结果图像(带标注框)
统计信息 检测状态、目标数量、FPS、处理帧数实时更新
检测列表 右侧列表显示当前帧所有检测到的目标(类别+置信度)
日志记录 日志标签页记录操作和错误信息,带时间戳
占位显示 未选择检测源时显示系统LOGO和提示文字

7、结果保存模块

功能 描述
保存开关 复选框控制是否保存检测结果
路径选择 自定义保存路径,支持图片/视频格式自动识别
自动命名 保存文件自动添加时间戳(detection_result_20240101_120000.jpg
视频保存 支持检测结果视频录制(MP4格式)
手动保存 工具栏保存按钮可随时保存当前画面
保存反馈 保存成功弹窗提示,日志记录保存路径

8、工具栏功能

功能 描述
图片按钮 快速切换到图片检测模式并打开文件选择器
视频按钮 快速切换到视频检测模式并打开文件选择器
摄像头按钮 快速切换到摄像头检测模式
保存按钮 手动保存当前显示画面

9、辅助功能

功能 描述
错误处理 统一错误弹窗提示,日志记录错误详情
资源清理 检测停止时自动释放摄像头、视频文件、视频写入器资源
时间显示 状态栏实时显示系统时间
模型状态 状态栏显示模型加载状态和当前设备(CPU/GPU)

10、数据校验模块

功能 描述
注册验证 用户名长度≥3,密码长度≥6,密码一致性检查,邮箱格式验证
协议确认 注册前需勾选同意用户协议
文件校验 模型文件存在性检查,文件大小验证(≥6MB)
输入非空 登录/注册时必填项非空检查

引言

苹果作为全球广泛种植和消费的主要水果之一,其生产管理中的自动化、智能化水平直接影响农业效率和经济效益。在苹果生产的关键环节中,果实检测是实现产量预测、成熟度监测以及机器人自动化采摘的核心前提。然而,与工业环境下的目标检测不同,自然果园中的苹果检测面临诸多复杂因素:光照条件在一天内动态变化、苹果与枝叶颜色相近导致目标与背景对比度低、果实之间存在严重遮挡与重叠、不同品种和成熟度的苹果外观差异较大等。这些挑战使得传统的基于颜色、形状或纹理特征的图像处理方法难以取得稳定的检测效果。

近年来,以卷积神经网络(CNN)为代表的深度学习技术,尤其是YOLO(You Only Look Once)系列目标检测算法的快速发展,为农作物检测任务提供了全新的解决方案。YOLO算法将目标检测视为回归问题,实现端到端的检测流程,在保证较高精度的同时拥有优异的实时性,尤其适合部署于田间机器人或无人机平台。YOLOv8作为该系列的最新版本之一,在骨干网络结构、损失函数设计以及正负样本分配策略等方面均进行了改进,进一步提升了检测性能。

基于上述背景,本研究采用YOLOv8算法构建树上自然生长苹果的检测模型,利用自建的真实果园图像数据集进行训练与评估。本文后续部分将详细介绍果园图像的采集与标注过程、模型训练策略,并基于混淆矩阵、P-R曲线、F1曲线及mAP等多项指标对模型性能进行全面分析,最终验证该检测系统在实际农业场景中的有效性和鲁棒性。

背景

1. 农业生产智能化对果实检测技术的迫切需求

随着全球人口增长和劳动力成本持续上升,传统依赖人工经验进行果树管理和果实采摘的农业生产模式正面临越来越大的压力。苹果种植业尤其如此——苹果树在生长周期中需要进行疏花、疏果、套袋、采摘等多个精细操作环节,这些环节目前仍高度依赖人力。其中,果实检测是实现上述操作自动化的技术瓶颈之一。一个可靠的果实检测系统可以帮助农业机器人准确识别目标果实的空间位置、大小、成熟度甚至品质等级,从而指导机械臂进行精准抓取或执行其他作业。此外,果实检测系统还可用于果园产量早期预测,帮助果农提前规划采后物流与市场销售策略,减少因产量预估偏差造成的经济损失。

2. 自然果园环境带来的检测技术挑战

与受控的工业环境或实验室场景不同,自然果园中的目标检测面临着多重复杂干扰因素,具体包括:

  • 光照变化:果园环境为全户外场景,从清晨到黄昏,太阳高度角和光照强度持续变化;同时,树冠遮挡会形成大面积的阴影区域和高亮光斑,使得同一图像中的苹果可能呈现完全不同的亮度特征。这种光照非均匀性对基于颜色或纹理的检测方法尤为不利。

  • 目标与背景的相似性:苹果的红色或绿色果皮与树叶、枝条的颜色相近,尤其在未完全成熟或背光条件下,果实与背景之间缺乏明显的颜色边界。此外,部分苹果品种(如青苹果)的色调与叶片几乎一致,极大增加了检测难度。

  • 严重遮挡与重叠:苹果在枝条上呈簇状生长,多个果实常常相互紧贴或前后遮挡,导致单一目标在图像中仅呈现部分轮廓或完全被其他果实覆盖。这种密集场景对检测算法处理遮挡和区分实例的能力提出了很高要求。

  • 尺度多样性:苹果在不同生长阶段的大小差异显著;同时,由于相机与果树之间距离不固定,同一图像中可能同时出现近景中的大苹果和远景中的小苹果。模型必须具备多尺度特征提取能力,才能兼顾大目标和小目标的检测。

  • 动态环境干扰:户外环境下,风吹动树枝会引起苹果和叶片的摆动,产生运动模糊;此外,光照角度变化会导致苹果表面的高光点位置移动。这些动态因素进一步增加了检测的不确定性。

数据集介绍

数据集划分与规模

整个数据集经过人工筛选,剔除严重失焦或目标完全不可见的低质量图像后,共获得1471张有效图像。按照目标检测领域的常规比例(约9:1:1)对数据集进行随机划分:

  • 训练集(Training Set):1355张图像,占总量的约92.1%。该部分数据用于模型参数的学习与优化。

  • 验证集(Validation Set):77张图像,占总量的约5.2%。用于训练过程中的模型性能监控、超参数调整以及最佳模型权重选择。

  • 测试集(Test Set):39张图像,占总量的约2.7%。在模型训练完全结束后用于最终性能的独立评估,确保评估结果能够反映模型在未见数据上的泛化能力。

训练过程

训练结果

整体性能概览

指标 说明
mAP@0.5 0.92 较高,模型对苹果检测的整体性能良好
mAP@0.5:0.95 0.92 非常稳定,说明模型在不同IoU阈值下都表现优异
最佳F1值 0.85(置信度阈值 0.403) 平衡精度与召回率
最佳精度 1.00(置信度阈值 0.907) 可在极高置信度下做到零误检
最佳召回率 1.00 可在某些阈值下检测到所有苹果
苹果类AP 0.890(PR曲线下面积) 单类检测性能良好

混淆矩阵分析(未归一化 & 归一化)

未归一化混淆矩阵

text

真实\预测   Apples  background
Apples       2164       46
background     38        0
  • TP = 2164FN = 46(漏检)

  • FP = 38(误检背景为苹果)

  • 背景类未被正确预测(0),说明模型对背景检测能力弱,但这对苹果检测任务影响不大。

归一化混淆矩阵
  • 苹果类 85% 正确识别,15% 漏检

  • 背景类 100% 正确识别(因为背景预测为背景)

模型对苹果的检测能力较强,漏检率略高(15%),误检率较低。


损失函数与训练曲线(results.png)

Epoch train/box_loss train/cls_loss val/box_loss val/cls_loss precision recall mAP50
0 1.25 1.25 2.10 2.10 0.90 0.88 0.60
100 0.05 0.05 2.46 2.46 0.40 0.38 0.92
  • 训练损失持续下降 → 模型拟合良好

  • 验证损失轻微上升(2.10 → 2.46)→ 可能存在轻微过拟合,但mAP仍在提升

  • mAP50 稳定在 0.92mAP50-95 也在 0.92,非常优秀


精度-召回率与F1曲线分析

PR曲线
  • 苹果类 AP = 0.89

  • 曲线面积大,说明模型在不同召回率下都能保持较高精度

F1曲线
  • 最佳 F1 = 0.85(置信度阈值 0.403)

  • 在 0.3~0.6 置信度范围内,F1值稳定在 0.85 以上

P曲线 & R曲线
  • 精度在置信度 > 0.9 时可达 1.0

  • 召回率在低置信度下可达 1.0

假设您现在准备好进行标注。有几种开源工具可以帮助简化数据标注流程。以下是一些有用的开放标注工具:

Label Studio:一个灵活的工具,支持各种标注任务,并包含用于管理项目和质量控制的功能。 CVAT:一个强大的工具,支持各种标注格式和可定制的工作流程,使其适用于复杂的项目。 Labelme:一个简单易用的工具,可以快速标注带有多边形的图像,非常适合简单的任务。 LabelImg: 一款易于使用的图形图像标注工具,特别适合以 YOLO 格式创建边界框标注。

用于实例分割的 LabelMe 标注工具

这些开源工具经济实惠,并提供一系列功能来满足不同的标注需求。

界面核心代码:

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐