概要

机器联觉（Synesthesia of Machines, SoM）是由北京大学电子学院程翔教授团队提出的通信与多模态感知智能融合统一框架，是面向 B5G /6G 的 “AI 原生通感融合” 新范式，核心灵感来自人类的联觉现象（一种感官刺激自动唤起另一种感官协同工作）。

一、核心定义与本质

SoM 是面向通用任务的 AI 原生通信与多模态感知智能融合范式，核心是让通信、雷达、LiDAR、摄像头等不同 “机器感官” 的信息，通过 AI 模型实现跨模态协同与相互增强，突破传统通信与感知分立的瓶颈。

• 区别于传统的 “通感一体化（ISAC）”，ISAC 主要聚焦射频域的通信与雷达感知融合，而 SoM 扩展到了多模态感知（RF + 非RF）+ 通信 + AI 智能的深度融合，支持更复杂的动态场景与通用任务。
• 实现通信性能提升、感知精度增强、任务智能升级的三重增益，支撑网联智能体、自动驾驶、元宇宙等 6G 核心场景。

二、SoM 的核心范式与技术框架

（一）运行范式

1. 跨触感域互补增强：多源感官双向赋能
   打破单一射频 / 视觉 / 雷达独立工作壁垒，打通机械触感、环境触感、视觉触感、射频触感、空间触感、运动触感等全域机器感官维度；不同触感域特征互相补全、降噪、修正，用 A 类触感信息弥补 B 类触感的环境短板，解决遮挡、非视距、高速运动、复杂干扰下单一感知失效问题。不再局限「感知辅助通信」，而是全维度触感互相兜底。
2. 全域触感特征共生：异构信息统一表征
   以 AI 大模型 / 无线基座模型为底座，对异质、异频、异构的多触感域数据做统一特征编码、对齐、融合建模；剥离各触感域底层物理差异，提炼通用环境特征、行为特征、链路特征、状态特征，实现机器「多感官同步理解环境」。跳出「通信辅助感知」的工具化思维，从数据层实现触感共生；所有机器触感数据不再孤立存储、独立计算，形成全域共享的环境数字表征，为上层智能决策提供统一输入。
3. 触感驱动内生智能：任务导向全域协同决策
   以实际业务任务为核心，驱动多触感域、通信、计算、控制深度联动；机器不再被动采集单一数据，而是根据场景需求，自主调度、自适应调配不同触感模块，动态权衡各感官权重，实现「感知 - 传输 - 计算 - 控制」端到端内生协同。对标 6G 网联智能体、工业机器人、车路协同、全域无人系统场景；区别传统通感一体的功能叠加，SoM 实现触感定义智能、场景自适应调配、自主闭环决策，是机器从「单一功能设备」进化为「多感官智能体」的核心范式。

（二）关键技术方向

• 多模态数据融合与建模：构建跨模态通感数据集（如 SynthSoM 数据集），解决不同模态数据的异质性、时序对齐与特征关联问题。
• AI原生算法设计：利用大模型 / 无线基座模型，实现端到端的通感协同优化，突破传统 “先通信后感知” 的分立设计模式。
• 动态场景鲁棒性优化：针对高速移动、遮挡干扰等复杂场景，设计自适应的通感融合算法，解决传统 ISAC 在动态环境下的性能瓶颈。
• 标准化与工程落地：推动 SoM 在 6G 标准中的技术演进，以及在车联网、工业互联网、网联机器人等场景的实际部署。

三、SoM 的技术优势与行业价值

1. 突破传统通感融合的局限：相比仅依赖射频信号的 ISAC，SoM 通过引入多模态感知与 AI 原生设计，大幅提升了复杂动态场景下的系统性能，例如在高速移动场景下可将通信链路可靠性提升 30% 以上，感知定位误差降低 50%。
2. 支撑 6G 网联智能核心场景：SoM 是 6G “通信 - 感知 - 计算一体化” 的关键技术路径，可直接支撑自动驾驶、工业元宇宙、远程机器人等对低时延、高可靠、高感知能力有极致要求的场景。
3. 推动通信系统的范式革新：从 “比特传输” 转向 “语义 / 任务驱动的智能传输”，让通信网络不再只是数据管道，而是具备感知、理解与协同决策能力的智能体。

小结

SoM 目前处于从理论框架向工程落地推进的阶段，是国内在 6G 通感融合领域提出的原创性技术范式，目前已有多家通信企业与研究机构跟进相关技术验证与标准化工作。