基于深度学习+AI的玩手机行为目标检测与预警系统（Python源码+数据集+UI可视化界面+YOLOv11训练结果）

1、背景介绍

针对公共安全管控、企业生产管理与校园秩序维护需求，面向工厂车间、校园课堂、交通路口、办公区域等场景，研发基于深度学习+AI的玩手机行为目标检测与预警系统具有重要现实意义。随着智能化管控与规范化管理需求提升，玩手机行为作为影响生产效率、公共安全、教学质量的核心干扰因素，其行为隐蔽性强、发生频率高、影响范围广、管控难度大等问题带来的安全隐患、效率损耗、秩序混乱等管理痛点日益凸显，年均因玩手机引发的生产安全事故、教学效率下降、交通违章等问题频发，严重影响公共安全与管理效能。传统人工值守、视频抽查受人力成本高、监管效率低、主观判断偏差大、违规行为捕捉滞后等因素制约，难以实现全场景、全时段的精准管控，而AI智能分析技术可依靠人体姿态特征、手部动作轨迹与手机外观特征的差异，捕捉玩手机行为的细微动作与场景适配性，实现光线不足、人员密集、姿态多样等复杂环境下的玩手机行为精准识别，突破传统监管技术难以捕捉隐蔽性违规、适配复杂管控场景的瓶颈。

将深度学习目标检测算法与AI智能分析、视频监控设备（或无人机巡检设备）结合，能够精准识别玩手机行为这一类核心管控目标，有效区分正常手部动作与玩手机行为、手机与其他随身物品、正常休息与违规玩手机等干扰因素，借助视频监控的全时段值守、无人机的灵活巡航优势，实现对管控区域全域的玩手机行为自动识别、违规等级分级、行为频次统计与实时预警，同步推送预警信息至管理人员与管控终端，提升各类场景管理系统的智能化、全域化与精准处置能力，对规范管理秩序、提升生产教学效率、防范安全隐患、降低人工管控成本、强化违规行为精准管控具有重要应用价值，为各类场景的规范化管理、智能化管控提供高效、可靠的技术支撑，助力破解玩手机行为管控难、滞后性强的管理难题，保障公共安全、提升管理效能与规范社会秩序。

2、算法结构

目标检测是一种基于目标集合和统计特征的图像分割，主要包括分类问题和检测定位问题。目标检测算法以深度学习为基准的主要有两大类：基于回归分析的单阶段目标检测和基于候选区域的两阶段目标检测。

基于回归分析的单阶段目标检测算法在检测目标时采用一个网络进行端到端的目标检测，直接对图像进行计算生成检测结果，检测速度快，但检测精度低。主要代表是YOLO系列和SSD系列。2015年，Joseph等人提出了一种新的目标算法YOLO，其思想是将一张图片分成多个网格，让每个网格负责预测中心点落在当前网格中的物体。该方法目标检测速度快、可以避免背景错误并能学到物体的泛化特征，但存在定位不准、精度低和对小物体检测效果不好的问题。Joseph在接下来的几年从骨干网络和跨尺度特征融合等方面对YOLO进行优化改进，相继提出了YOLOv2和YOLOv3。2016年，Liu等人提出了结合YOLO检测速度快和Faster R-CNN的锚框思想的SSD算法，并使用多尺度特征图进行检测，在满足检测速度要求的同时还大幅提高了模型的检测精度，但由于小尺寸的目标多用较低层级的锚框来训练，较低层级的特征非线性程度不够，无法训练到足够的精确度，所以仍存在小目标的检测效果差的问题。

基于候选区域的两阶段目标检测是先对图像提取候选框，然后对候选框进行分类回归操作得到检测结果，检测精度较高，但检测速度较慢，训练时间长且误报高。主要代表算法有R-CNN系列、SPP-Net和FPN。Girshick等人在2014年提出了两阶段目标检测算法R-CNN，通过选择性搜索的方法提取出候选区域，然后将候选区域变换为标准的方形尺寸并使用改进的AlexNet筛选出有效的候选区域，最后通过支持向量机进行分类并对有效的候选区域进行线性回归获得边界框，该算法有着较高的准确性并提高了特征对样本的表示能力，但由于图像尺寸限制造成目标失真变形并且存在冗余计算、检测速度慢。针对这个问题，He等人提出了SPP-Net，在卷积层和全连接层之间增添一个空间金字塔池化模块，不仅可以对候选区域进行变换为任意比例的区域特征提取，而且可以减少候选区域的重复计算，该算法不仅提高了目标检测的精度，同时又提升了目标检测速度，但训练过程仍是多阶段的，而且无法实现端到端训练。2015年，Girshick等人结合R-CNN和SPP-Net的特点提出了Fast R-CNN，通过卷积层对整张图像和候选区域进行特征提取，并使用感兴趣池化层和Softmax分别取代空间金字塔池化模块和SVM，同时提高了精度和速度，但由于选择性搜索算法只能使用CPU，仍无法实现实时检测。Ren等人针对此问题在同年提出了Faster R-CNN，Faster R-CNN最大的特点是首次提出了一个全新的候选区域网络（Region Proposal Network, RPN），该算法不仅可以端到端训练，而且可以在GPU上实时性检测，但由于anchor的使用，仍对小目标的检测效果并不理想。Lin等人于2017年在Faster R-CNN基础上提出了特征金字塔网络检测算法FPN，通过多层特征融合，大大提高了小目标物体的检测效果。

为了契合对检测性能与实时性的更高要求，本文选用以 YOLOv11 为根基的单阶段目标检测算法作为基准。YOLOv11 模型作为迭代升级的实时目标检测框架，凭借其更为迅猛的检测速率以及大幅提升的检测精度，在同类算法中展现出显著优势，其网络结构如图所示。本文深入研究的算法正是在 YOLOv11 的基础上开展改进与优化工作，旨在进一步强化目标检测的准确性与实时性，从而更好地适配特定应用场景的复杂多样需求。

3、数据集

本算法研究数据集来源于公开数据集PlayPhoneDataset进行实验，PlayPhoneDataset数据集信息如图所示。本文共选取玩手机的948张图像，每张图像的大小为640x640像素，包括不同光照强度、不同角度的图像。然后通过在线标注工具MakeSense（https://www.makesense.ai/）进行标注，将标注后的图像划分为664张图像作为训练集，190张图像作为训练集，94张图像作为测试集。

# 目录结构

# 目录结构
PlayPhoneDataset
├── images/
│   ├── train/
│   ├── val/
│   └── test/
└── labels/
    ├── train/
    ├── val/    
    └── test/

# 适用算法
"yolov26/yolov13/yolov12/yolov11/yolov10/yolov8/yolov5等YOLO系列"

# 类别
'playPhone'

# yaml文件配置
path: PlayPhoneDataset# dataset root dir
train: images/train  # train images (relative to 'path') 4 images
val: images/val  # val images (relative to 'path') 4 images
test: images/test # test images (optional)
# Classes
names: ['playPhone']

4、评价指标

本文选取的评估指标包括综合精确率Precision和召回率Recall的F1-Score、平均精度均值mAP、计算量GFLOPs和权重大小Model Size等。mAP表示IoU阈值取0.5时的值。具体计算公式如下。

式中：TP为真正例，FP为假正例，FN为假负例，AP为平均精度，P为精确率，R为召回率。

5、实验环境

本实验的环境在Window操作系统上进行，采用的深度学习框架为Pytorch 2.6.0+126，编程语言为Python 3.10.0，CUDA版本12.6，GPU为NVIDIA GeForce RTX 4060，显存为8GB。在模型训练过程中，模型的批处理大小BatchSize设为32，总次数Epochs设为50，初始学习率被设置为0.01，动量参数因子为0.937，优化器权重衰减系数设为0.0005，以使其更快收敛并获得更好的性能。

6、训练脚本

# train.py
from ultralytics import YOLO
if __name__ == '__main__':
    # 初始训练
    model = YOLO(r"yolov11n.yaml")
    model.load("yolo11n.pt")
    results = model.train(data=r"data.yaml", 
                          epochs=50, 
                          imgsz=640, 
                          batch=32, 
                          workers=4, 
                          device=0, 
                          name="train")

7、实验结果

8、系统实现

YOLO目标检测系统主要包括登录页面和主页面，其中主页面集成了三大核心检测功能，各功能操作便捷、检测高效，具体介绍如下：

登录页面：作为系统入口，用户需输入正确的账号密码完成登录，验证通过后方可进入主页面使用各项检测功能，保障系统使用安全性，防止未授权访问。

主页面：为核心操作区域，集中展示图片检测、视频检测、摄像头实时检测三大功能入口，界面简洁直观，方便用户快速找到所需功能，后续各项检测操作均在主页面内完成。

✅ 图片检测：支持单张图片输入检测，用户上传图片后，YOLO模型将快速对图像进行分析，精准识别图像中的各类目标，自动在图像中框选目标位置，并同步返回检测框坐标及目标类别信息，让检测结果直观可见，适用于单帧图像的快速目标识别场景。

✅ 视频检测：支持各类常见格式视频文件输入，检测过程中，YOLO模型会对视频中的每一帧进行逐帧分析、精准识别，在每帧画面中标记出检测到的目标，最终可输出带有目标框的完整视频文件，也可进行实时画面展示，广泛应用于视频监控、动态场景分析等需求场景。

✅ 摄像头实时检测：支持连接USB摄像头，实现实时目标监测功能。YOLO模型可实时捕捉摄像头传输的视频流，同步进行目标检测与识别，即时在画面中显示检测结果，提供快速、精准的即时反馈，适用于安防监控、无人驾驶、智能交通等对实时性要求较高的应用场景。

此外，系统所有检测功能均支持deepseek ai对检测结果进行AI分析，可进一步挖掘检测数据的深层信息，提升检测结果的实用性和解读效率，为用户提供更全面的检测服务。

登录界面

主界面

9、应用场景

基于深度学习+AI的玩手机行为目标检测与预警系统，聚焦PlayPhone（玩手机行为）单一类别目标，依托视频监控全时段值守、覆盖范围广的优势，结合AI智能分析可精准捕捉人体手部动作轨迹、手机外观特征与正常行为差异、穿透复杂环境干扰的特性，搭配深度学习算法的高效识别、精准判定与实时预警能力，广泛应用于各类场景的规范化管理、安全防控及效率提升场景：工厂车间可精准识别作业人员在操作设备、巡检过程中隐蔽性玩手机行为，精准统计违规频次、定位违规人员，破解传统人工值守监管范围有限、易疲劳漏判、违规行为隐蔽难以发现的痛点；校园课堂可实现课堂全域无死角监测，快速定位学生上课期间玩手机、分心走神等问题，同步推送预警信息至授课教师与班主任，助力及时干预引导，防范因玩手机导致的听课效率下降、学业成绩下滑、课堂秩序混乱等问题；交通路口可精准识别驾驶员行车过程中手持手机、低头玩手机等违规行为，实时捕捉违规动作、记录违规场景，为交通执法提供精准依据，弥补传统交通监控人工审核效率低、漏判误判率高、违规行为取证难的短板。

此外，在大型工业园区、仓储物流园区等人员密集、监管范围广、人工监测难度大的区域，可依托无人机灵活巡航、全天候作业的优势，精准识别不同作业岗位人员的玩手机行为，实时跟踪违规行为的发生频次、持续时间，同步推送违规预警与规范指引，弥补人工监测盲区、降低人工管控与违规排查成本；在公共安全管控场景中，可快速区分正常手部动作与违规玩手机行为，精准定位人员密集区域的违规行为，同步推送预警信息与处置建议，助力管理人员及时干预，防范因玩手机分心引发的安全事故，保障公共秩序与人员安全；在企业生产效率提升场景中，可通过监测员工工作期间玩手机行为的发生规律，精准定位效率低下的岗位与人员，同步推送提醒信息与管理建议，助力企业规范员工行为、提升工作效率，避免因分心玩手机导致的生产延误、产品质量问题，降低企业管理成本；在校园管理优化场景中，可汇总分析不同年级、不同课堂的玩手机行为发生规律，为教学管理优化、学生行为引导、课堂纪律规范提供数据支撑，推动校园管理向精细化、智能化转型。该系统全方位满足各类管控场景下玩手机行为的精准检测、违规判定、实时预警与规范引导需求，破解传统玩手机行为监管识别不准、违规判定主观、异常行为发现不及时、适配复杂管控环境能力弱的痛点，为各类场景的规范化管理、安全精准防控、效率提升、成本降低提供智能化科技支撑，显著提升管理效能与综合管理水平。

10、源码获取（网盘地址）

[猫脸码客：catcode2020]