WiFi-CSI感知开源项目RuView (WiFi DensePose)

vopo123

886人浏览 · 2026-04-17 10:45:39

vopo123 · 2026-04-17 10:45:39 发布

RuView (WiFi DensePose) 是一个基于 ESP32-S3 的 WiFi CSI 感知 开源项目，主打无摄像头、非接触式的人体姿态估计、生命体征监测与穿墙检测。

GitHub 仓库：https://github.com/ruvnet/RuView
核心代号：WiFi DensePose

一、核心功能

1、感知

透过墙壁就能看到人的身影、呼吸和心跳——仅需利用房间内已有的WiFi信号即可实现。

功能	含义说明
隐私优先	仅通过WiFi信号追踪人体姿态——无需摄像头、无视频、不存储任何图像
生命体征	无需佩戴任何设备即可检测呼吸频率（6-30次/分钟）和心率（40-120次/分钟）
多人	可同时追踪多人，每人拥有独立姿态和生命体征——无硬性软件限制（物理层面：单个接入点搭配56个子载波约可追踪3-5人，多接入点情况下可追踪更多人）
穿墙	WiFi信号可穿透墙壁、家具和废墟——能在摄像头无法工作的区域发挥作用
灾害应对	通过瓦砾检测被困幸存者，并对受伤严重程度进行分类（START 分诊法）
多静态网格	4-6个低成本传感器节点协同工作，结合12条以上的重叠信号路径，实现整个房间360度全覆盖，定位精度达到亚英寸级别，且不会出现人员混淆
持续场域模型	该系统学习每个房间的射频特征——然后去除房间的干扰信号，以分离人体运动、检测数日内的信号漂移、在人体开始移动前预测其意图，并标记欺骗行为

2、智能

该系统可自主学习并随时间不断变得更智能——无需手动调优，也无需标注数据。

功能	含义
自学习	可从原始 WiFi 数据中自主学习——无需带标签的训练集，也无需借助摄像头进行初始引导
AI 信号处理	注意力网络、图算法和智能压缩替代了手动调整的阈值——可自动适配每个房间
全场景适配	一次训练，适配任意场景部署——对抗域泛化可消除环境偏差，使模型能跨场景、跨建筑、跨硬件迁移
多视角融合	AI会融合每个传感器从自身角度捕捉到的画面——填补单个视角无法自行解决的盲区与深度模糊问题
信号线协议	一个6阶段处理流水线将原始WiFi信号转换为结构化的身体表征——从信号清理开始，通过基于图的空间推理，最终输出姿态
QUIC 网格安全	所有传感器间的通信均采用端到端加密技术，具备防篡改、防重放保护功能，并且在某个节点移动或离线时可无缝重新连接
自适应分类器	标记为 CSI 会话的记录，用纯 Rust 训练一个 15 特征的逻辑回归模型，并学习你房间独特的信号特征——用数据驱动的分类替代手动调整的阈值

3、性能与部署

速度足以满足实时使用需求，体积适配边缘设备，操作简单到一键即可完成设置。

功能	含义说明
实时	每帧分析 WiFi 信号耗时低于 100 微秒，速度足以支持实时监控
快810倍	完整的 Rust 重写：54000 帧/秒的处理流水线、多架构 Docker 镜像、1031 项以上测试
一键式设置	`docker pull ruvnet/wifi-densepose:latest` — 30秒内实现实时感知，无需工具链（支持amd64和arm64架构/苹果芯片）
全本地运行	完全基于9美元的ESP32运行——无需网络连接、无需云账号、无任何 recurring 费用。可在设备端实时检测人体存在、生命体征和跌倒情况，响应迅速
便携模型	训练好的模型打包成单个 `.rvf` 文件——可在边缘设备、云端或浏览器（WASM）上运行
观测可视化	具有5个全息面板的电影级Three.js仪表盘——子载波流形、生命体征预言机、存在热图、相位星座图、收敛引擎——全部由实时或演示CSI数据驱动
AMOLED 显示屏	内置 AMOLED 屏幕的 ESP32-S3 开发板可直接在传感器上实时显示人员状态、生命体征和房间状况——无需手机或电脑

二、工作原理

WiFi 路由器会向每个房间辐射无线电波。当人移动——甚至只是呼吸——时，这些波的散射方式会发生变化。WiFi 密集姿态估计技术会读取这种散射模式，并还原出具体情况：

（核心：WiFi信号→CSI采集→处理→AI推理→输出）

WiFi 路由器

↓（发射 2.4GHz 无线电波覆盖房间）

无线电波 → 遇人体 → 反射 / 散射

↓

ESP32 节点网格（TDM 时分采集信道 1/6/11 CSI 数据）

↓

多频段融合 + 多节点链路融合（高分辨率感知特征）

↓

相干门限筛选 + 信号滤波处理（去噪、提取呼吸/微动特征）

↓

RuVector AI 骨干网络 + CRV 感知协议（信号解析与建模）

↓

神经网络推理（人体模型 + 生命体征模型 + 空间场模型）

↓

最终输出：姿态骨架｜呼吸｜心率｜存在/静止/运动检测

三、应用场景

WiFi 感应可在任何有 WiFi 的地方实现。在大多数情况下无需新增硬件——只需在现有接入点上安装软件，或使用一个ESP32附加组件。由于无需摄像头，部署设计上可规避隐私法规（如GDPR视频相关规定、HIPAA影像相关规定）。

扩展规模：每个接入点（AP）可区分约3-5人（使用56个子载波）。多接入点（AP）呈线性倍增——一个4接入点的零售网状网络可覆盖约15-20人。不存在严格的软件限制；实际上限由信号物理特性决定。

为何WiFi传感更具优势	传统替代方案
无需视频	摄像头需要获得同意、张贴标识并制定数据保留政策
可穿透墙壁、货架和障碍物	摄像头需要每个房间有视线
可在全黑环境下工作	摄像头需要红外光或可见光
每个区域0-30元（使用现有WiFi或ESP32）	摄像头系统：每个区域200-2000元
WiFi 已在各处部署	PIR/雷达传感器需要为每个房间重新布线

1、日常场景

医疗、零售、办公、酒店（通用WiFi）

应用场景	功能说明	硬件	关键指标	边缘模块
养老护理/辅助生活	跌倒检测、夜间活动监测、睡眠时呼吸率——无需佩戴设备	每间客房配备1个ESP32-S3	跌倒警报 <2秒	睡眠呼吸暂停，步态分析
医院患者监测	非关键床位无有线传感器的持续呼吸+心率监测；异常情况向护士发出警报	每个病房配备1-2个接入点	呼吸：6-30次/分钟	呼吸窘迫，心律失常
急诊分诊	自动统计候诊人数+预估等待时间；检测候诊区患者的异常状况（呼吸异常）	现有医院WiFi	占用率准确率＞95%	队列长度，恐慌动作
零售客流与动线	实时客流量、按区域划分的停留时长、队伍长度——无需摄像头，无需用户主动授权，符合GDPR法规	现有店铺WiFi + 1个ESP32	停留分辨率约1米	客流，停留热力图
办公空间利用率	哪些工位/房间实际有人使用、会议室爽约情况、基于真实在场情况的暖通空调优化	现有企业级无线网络	存在延迟小于1秒	会议室、暖通空调人员感应
酒店与酒店服务业	无需门传感器的房间入住情况、迷你酒吧/浴室使用模式、空房间的节能措施	现有酒店无线网络	15-30% 的暖通空调能耗节省	能源审计、照明分区
餐厅及餐饮服务	餐桌翻台率追踪、厨房人员在岗状态、洗手间占用率显示——用餐区域不安装摄像头	现有无线网络	排队等待时间 ±30秒	餐桌翻台率，队伍长度
停车场	摄像头存在盲区的楼梯间和电梯内出现行人；有人逗留时触发安全警报	现有无线网络	穿透混凝土墙体	徘徊，电梯计数

2、专业场景

活动、健身、教育、市政（支持CSI的硬件）

应用场景	功能说明	硬件	关键指标	边缘模块
智能家居自动化	可穿墙感应的房间级存在状态触发器（灯光、暖通空调、音乐）——无信号盲区，无运动传感器超时问题	2-3 个 ESP32-S3 节点（24 美元）	穿墙距离约5米	空调感应，照明分区
健身与运动	运动时的次数统计、姿势矫正、呼吸节奏——无需穿戴设备，更衣室也无需摄像头	3个及以上ESP32-S3网状网络	姿态：17个关键点	呼吸同步，步态分析
托育与学校	午睡呼吸监测、操场人数统计、禁区警报——保障未成年人隐私安全	每个区域配备2-4个ESP32-S3	呼吸频率：±1 次/分钟	睡眠呼吸暂停，边界入侵
活动场馆与音乐会	人群密度制图、基于呼吸压缩的挤压风险检测、应急疏散流量追踪	多接入点网状网络（4-8个接入点）	每平方米密度	客流，恐慌移动
体育场与竞技场	按区域级别的占用率，用于动态定价、餐饮人员配置以及应急疏散流量建模	企业接入点网格	每个AP网格15-20个	停留热力图、队列长度
宗教场所	无需人脸识别的考勤统计——隐私敏感型集会、多房间校区追踪	现有无线网络	区域级精度	电梯计数、能源审计
仓储与物流	工人安全区域、叉车接近警报、危险区域占用情况——通过货架和托盘实现相关功能	工业AP网状网络	警报延迟小于500毫秒	叉车接近，受限空间
市政基础设施	公共厕所占用情况（无法安装摄像头）、地铁站台拥挤程度、紧急情况下避难所人数	市政WiFi + ESP32	实时人数统计	客流，徘徊
博物馆与美术馆	访客流量热力图、展品停留时长、人群拥堵预警——艺术品附近不设摄像头（存在闪光灯/盗窃风险）	现有WiFi	区域停留时间 ±5秒	停留热力图、货架参与度

四、RuView与ESPectre对比

1、总体定位与能力对比

对比项	RuView（WiFi DensePose）	ESPectre
核心目标	人体姿态 + 生命体征 + 存在检测	人体运动 / 静止二态检测（存在 / 活动）
AI 依赖	重度 AI：RuVector + 神经网络，输出 17 关键点	无深度学习，纯传统信号处理（MVS/NBVI）
硬件规模	4–6 个 ESP32-S3 做 Mesh，TDM 同步，多信道融合	1–3 个 ESP32 即可，单节点可用，部署极简
输出粒度	姿态骨架、呼吸、心率、房间指纹、漂移告警	有人 / 无人、运动 / 静止、Movement Score
隐私性	本地处理、无图像、密码学认证	本地处理、无图像、极简固件
工程成熟度	Docker 化、Rust 高性能、Web UI、开箱即用	ESPHome 原生集成、HA 即插即用、极低功耗

总结：

RuView = WiFi 姿态雷达 + 生命体征监测（高端、高精度、多节点）
ESPectre = WiFi 微动传感器（极简、低成本、单节点、智能家居）

2、逐环节工作流对比

RuView与ESPectre技术细节对比表

处理环节	RuView	ESPectre
WiFi 路由器	要求稳定2.4GHz，信道1/6/11，用于多频段融合	任意2.4GHz路由，不挑信道，单信道即可工作
无线电波与人体作用	物理基础：人体（躯干、四肢、呼吸、心跳）扰动多径，改变CSI幅度/相位；更强调呼吸/心跳引起的微小相位波动	物理基础：人体（躯干、四肢、呼吸、心跳）扰动多径，改变CSI幅度/相位；侧重运动引起的方差突变
ESP32 网格与CSI采集	4–6节点ESP32-S3 Mesh；TDM时分复用，避免节点间干扰；同时采集信道1/6/11，每信道56子载波→168虚拟子载波/链路；多节点间N×(N-1)链路，做多静态融合	单节点即可，多节点独立工作（无Mesh/TDM）；仅单信道（默认6），子载波自动选择；无严格同步，每个ESP32自采CSI、自处理
特征提取（多频段+多节点融合）	核心优势为多频段+多节点融合；多频段融合：3信道互补，抗环境干扰；多静态融合：所有收发链路做注意力加权交叉视角嵌入；输出高维、稳定、几何一致的特征张量	无融合；单信道、单节点，仅做时间域方差分析（MVS）；输出一维运动分数，无空间/频率维度融合
信号处理（过滤噪声、提取干净特征）	Coherence Gate（相干门）：rejecting异常测量，数天稳定无需重校准；算法栈：Hampel滤波、SpotFi、菲涅尔区分析、BVP、语谱图；目标：分离运动、呼吸、心跳、环境漂移四种成分	滤波：巴特沃斯低通、Hampel；核心：MVS（移动方差分割）+ NBVI（归一化基线变异性指数）；目标：区分静止（低方差）/运动（高方差），抑制慢漂移
信号解析（AI骨干网络+协议）	RuVector AI骨干：注意力机制、图算法、压缩、场模型；CRV信号线协议（6阶段）：感知→拓扑→相干→搜索→模型→输出；本质：把CSI张量映射到人体物理模型	无AI/无神经网络；直接用统计阈值+状态机输出二态结果；本质：信号方差>阈值→运动，否则静止
神经网络输出	输出：17个人体关键点、呼吸率、心率、房间指纹、漂移告警；精度：接近摄像头DensePose的94.2%，支持穿墙、遮挡	输出：存在/无人、运动/静止、运动分数（0–100）；无姿态、无呼吸、无心率；静止人体可能漏检（靠呼吸微动可部分弥补）
最终输出	实时姿态、呼吸、心率、存在、房间拓扑、长期漂移趋势	智能家居级存在/活动传感器（类似毫米波雷达，但无硬件成本）