一、项目演示视频

b站演示视频与部署教程视频(点击这里)
https://www.bilibili.com/video/BV18eGH6kE3f/?share_source=copy_web&vd_source=31c839f46a9a845dd6dd641cbd5c2ac1

项目简介

本项目是一个基于人工智能技术的课堂学生行为智能预警系统，旨在通过先进的计算机视觉技术和深度学习模型，为课堂教学管理提供智能化的学生行为识别与预警服务。系统集成了图片检测、视频检测、实时检测、模型管理、数据集管理等多项功能，构建了一个完整的课堂学生行为检测与预警服务平台。

二、技术栈

1. 前端技术栈 (web-vue)
   核心框架: Vue 3.5.13 (Composition API)
   UI组件库: Element Plus 2.9.4
   状态管理: Pinia 2.3.1
   路由管理: Vue Router 4.5.0
   HTTP客户端: Axios 1.7.9
   图表可视化: ECharts 5.6.0
   构建工具: Vite 6.1.0 + TypeScript 5.7.2

2. 后端+算法端技术栈 (web-flask)
   核心框架: Flask (Python)
   数据库: SQLite 3
   身份认证: JWT
   图像处理: OpenCV + NumPy
   深度学习: YOLOv8/YOLO11/YOLO12/YOLO26
   视频处理: OpenCV视频流处理
   大语言模型: Qwen-VL的API接口

三、功能模块

核心创新点

1. 行为精准检测: 支持课堂学生行为的智能识别和定位
2. 多模态检测方式: 支持图片、视频、实时摄像头三种检测模式
3. YOLO模型集成: 集成YOLOv8/YOLO11/YOLO12/YOLO26等先进目标检测模型
4. 智能预警分析: 基于AI的课堂学生行为自动识别、定位与预警
5. 分层权限管理: 支持管理员和普通用户的差异化功能访问
6. 完整工作流程: 从数据集管理到模型管理再到行为检测预警的完整闭环
7. 多模态大模型辅助分析: 使用多模态大模型根据YOLO检测识别结果和图片进一步分析并给出合理教学管理建议
8. 模型评估系统: 支持上传YOLO格式标签与模型预测对比，自动计算Precision、Recall、mAP50等精度指标，生成GT框与预测框的可视化对比图，支持用户评分和评语
9. 实时预警系统: 支持严重程度分级(可忽略/轻微/中等/严重/紧急)、LLM二次验证、处理状态管理

核心功能模块

1. 用户管理: 支持用户注册、登录、权限管理、个人信息管理等功能
2. 数据集管理: 支持上传ZIP格式YOLO数据集，自动验证数据集结构和完整性
3. 模型管理: 支持创建模型、上传权重、训练过程图片/文件管理、模型发布等
4. 图片检测: 上传图片进行学生行为检测，支持CLAHE图像增强、多模态AI分析、教学管理建议生成、导出Word报告
5. 视频检测: 上传视频进行逐帧检测，支持帧率采样、异步处理、进度查询、关键帧截图、LLM二次验证
6. 实时检测: 使用电脑摄像头进行实时检测，会话级智能去重、LLM二次验证(过滤YOLO误检)、严重程度五级分级(可忽略/轻微/中等/严重/紧急)、处理状态管理(未处理/已处理)、实时通知预警、多维度筛选(用户/严重程度/处理状态/LLM验证状态)
7. 模型评估: 上传图片和标签文件评估模型性能，支持精度指标计算、可视化对比、用户评分筛选

应用场景

1. 智慧课堂: 课堂教学中学生行为的智能监测与预警
2. 教学督导: 课堂纪律与专注度的自动巡检与记录
3. 教育管理: 课堂秩序评估与教学干预调度
4. 教育培训: 智慧教育技术和AI行为检测预警的教学演示

四、项目链接

羊羊小栈-课堂学生行为检测分析预警系统(YOLO检测_多模态大模型分析).zip
链接: https://pan.baidu.com/s/1EPuuZNg8fG0mI_BfjkbjIQ?pwd=9y6d 提取码: 9y6d

1. 完整系统源码
   (1)前端源码(web-vue)
   (2)后端+算法端源码(web-flask)
   (3)模型训练代码(other/model_train/detect)
2. 项目启动教程
   (1)环境安装教程(视频+文档)
   (2)系统启动教程(视频+文档)
3. 项目介绍文档
   (1)项目概述
   (2)项目技术栈
   (3)项目目录结构
   (4)核心功能模块介绍
   (5)API接口文档
4. 系统PPT
   (1)系统架构图、架构交互图
   (2)算法模块流程图
   (3)图片、视频、实时检测时序图
   (4)数据流图
   (5)UML类图
   (6)功能模块概要图、功能模块图
   (7)数据库ER图
   (8)训练过程图
   (9)验证指标图
   (10)验证效果图
5. 系统使用注意事项
6. 模型训练文档
7. 数据库开发文档
   (1)数据库概述
   (2)数据库表详细设计结构
   (3)建表SQL语句
8. 系统文档
   (1)介绍
   (2)相关技术与理论
   (3)系统需求分析
   (4)系统总体设计
   (5)系统设计与实现
   (6)模型训练与性能评估
   (7)系统测试
9. 课堂学生行为检测数据集
   (1)总样本数：18763张课堂图片
   (2)训练集：15558张图片 (用于模型训练)
   (3)验证集：2139张图片 (用于模型验证和性能调优)
   (4)测试集：1066张图片 (用于模型最终性能评估)
   (5)检测类别: 6类学生行为检测
   0: raisehand - 举手 - 学生举手行为
   1: read - 阅读 - 学生阅读行为
   2: sleeping - 睡觉 - 学生睡觉行为
   3: stand - 站立 - 学生站立行为
   4: telephone - 打电话 - 学生打电话行为
   5: writing - 写字 - 学生写字行为
10. 已经训练好的模型权重，整体精度如下：
    (1)precision (精确率): 0.804
    (2)recall (召回率): 0.825
    (3)mAP50 (IoU阈值0.5时的平均精度): 0.852
    (4)mAP50-95 (IoU阈值0.5-0.95的平均精度): 0.515