操作环境:

MATLAB 2024a

1、算法描述

摘 要:
随着无线通信系统逐步从“数据管道”向“智能连接基础设施”演进,传统以比特级无差错恢复为中心的设计范式,越来越难以完全适应图像识别、场景理解、目标检测与协同感知等智能业务的需求。语义通信强调从任务目标出发,仅传输对接收端决策真正重要的信息,从而在有限带宽、低信噪比和复杂链路条件下提升系统整体有效性。已有研究表明,语义通信、目标导向通信以及深度联合信源信道编码正在成为图像类智能业务的重要技术路径,其关注重点已经由单纯的重建保真度,逐步扩展到任务完成度、语义保持能力、资源效率与系统鲁棒性的综合权衡。与此同时,相关文献也反复指出,语义通信的统一度量、不同任务之间的公平比较、发送端未知任务条件下的稳健设计,以及图像恢复与下游推理任务的联合优化,仍然是该方向的核心难点。

针对上述问题,本文围绕“面向语义通信的图像任务驱动传输系统设计与性能评估”展开研究,构建了一套适用于MATLAB环境的图像任务驱动传输仿真平台。系统以典型几何图形识别与结构恢复为研究对象,围绕图像数据在受限信道中的有效传输,设计了像素级DCT传输、语义特征传输和任务子空间令牌传输三类方案,并在统一信道模型、统一测试集和统一评价体系下开展公平对比。与只关注图像像素重建的传统思路不同,本文将分类准确率、PSNR、SSIM、结构交并比以及单位图像传输比特数共同纳入评价体系,力图更完整地描述图像传输系统在“看得像”“判得对”“传得省”三个层面的综合性能。

本文首先分析语义通信与任务驱动图像传输的内在联系,指出图像任务驱动传输的关键并不在于完整复制源图,而在于在信道受限条件下保留足以支撑任务判决的结构信息、拓扑信息与判别信息。随后,结合所设计的实验系统,完成了任务图像数据构建、三类传输链路设计、统一接收端判决机制建立以及多指标性能评估。实验结果表明,在低信噪比区域,语义特征传输与任务子空间令牌传输能够以更低的传输开销保持较稳定的任务性能,体现出语义通信在资源受限场景下的优势;而在中高信噪比区域,像素级DCT传输凭借更完整的图像细节保留能力,在重建保真度、结构保持能力与最终分类性能上逐步反超。该结果说明,图像任务驱动传输并不存在单一绝对占优的方案,而是必须面向任务类型、链路条件与资源预算进行联合设计。已有图像语义通信研究也在朝这一方向演进,即从单任务恢复、端到端重建逐步走向多任务协同、目标导向优化、自适应带宽分配、生成式重建与轻量化模型实现。

本文研究表明,面向语义通信的图像任务驱动传输系统,应当将“源表示方式”“信道映射方式”“接收端任务执行方式”和“评价指标体系”作为一个整体来考虑。若任务目标以分类和结构判别为主,则过于追求像素级完美恢复并不一定最优;若应用对视觉保真与结构一致性具有更高要求,则仅传输压缩语义描述也可能产生明显的性能上限。基于这一认识,本文所构建的系统既保留了传统通信中对信道扰动和重建误差的关注,又引入了任务完成效果与结构恢复能力的评价维度,对语义通信在图像任务中的应用价值进行了更贴近工程实际的分析。

关键词: 语义通信;任务驱动传输;图像语义编码;联合信源信道编码;DCT压缩传输;语义特征传输;任务子空间表示;多指标性能评估


1 引言

长期以来,通信系统设计主要围绕比特正确率、误码率和信道容量展开。对于语音、文本和图像等多媒体业务,这种设计方式在“把数据准确送到”方面具有明确优势,但当接收端真正关心的是识别结果、控制决策、语义理解或任务完成效果时,单纯提升比特级恢复精度并不总能带来最优系统收益。语义通信正是在这一背景下提出的一种新范式,其核心思想不是无差别地传输全部原始信息,而是优先保留与语义表达和任务目标相关的有效内容,从而在带宽、时延和能耗受限条件下提高系统总体有效性。相关综述与教程性工作普遍认为,语义通信将成为6G智能连接的重要研究方向之一,其价值主要体现在通过上下文、语义表示与任务目标的协同建模,减少无效信息传输,提升通信与智能处理的一体化能力。

对于图像类业务而言,这种范式转变尤为突出。传统图像传输往往把整幅图像视为统一的数据对象,先压缩,再信道编码,再发送,接收端最终关注的是视觉重建质量。然而在许多实际应用中,图像只是服务于更高层任务的载体。例如,在边缘视觉监测中,接收端真正需要的是类别判定;在协同感知中,接收端更关心目标位置、结构轮廓和场景语义;在智能终端控制中,真正有价值的是由图像引出的决策结果。此时,如果仍然机械地把全部像素一视同仁地发送,就会使通信系统承受不必要的开销。因此,如何在有限信道资源下提取并传输与任务直接相关的图像表示,已经成为图像语义通信研究的关键问题。

从研究进展来看,图像语义通信与深度联合信源信道编码之间具有密切联系。与传统分离式压缩和纠错编码不同,联合信源信道编码能够在有限码长和时变信道条件下直接优化端到端任务目标,因而在图像传输中展现出良好的鲁棒性。随后,相关研究又进一步扩展到反馈增强、自适应带宽、OFDM场景、任务未知发送端、多任务恢复与分类联合优化、生成式重建以及目标导向图像通信等多个方向,说明该领域已经从“能传”逐步发展到“按任务高效传”的阶段。与此同时,关于语义通信指标体系的研究也指出,仅用传统PSNR或误码率评价系统是不充分的,分类精度、语义相似性、任务成功率和结构保持指标应成为新的重要依据。

基于上述认识,本文并不将图像任务驱动传输简单理解为“低码率图像压缩”的替代,而是将其视为通信、表示学习与任务执行三者协同设计的问题。围绕这一思路,本文提出一套适用于教学与研究验证的图像任务驱动传输系统,对像素级传输、语义特征传输和任务子空间令牌传输进行统一建模与对比分析,希望通过清晰的系统结构和可解释的实验结果,展示语义通信在图像任务中的工程含义。

2 系统设计思路与总体架构

本文研究对象为任务图像传输系统。为了保证任务定义清晰、实验链路可控且结果便于解释,系统采用五类典型几何图形作为任务对象,包括圆形、方形、三角形、十字形和圆环。每幅图像在生成过程中具有一定的尺度变化、位置变化、角度变化以及轻度模糊与背景扰动,使得样本既保持明确类别边界,又不至于过于理想化。对该数据而言,任务目标不仅是重建视觉外观,更重要的是正确识别图形类别,并尽可能保持其几何结构与拓扑属性。

围绕这一任务,本文构建了三条并行传输链路。第一类为像素级DCT传输方案。该方案以图像块变换表示为核心,通过对主要频域系数进行保留与量化后再映射到信道输入端,属于较典型的像素域压缩传输思路。其优点在于图像细节保留较完整,尤其在信道条件较好时容易恢复出更接近原图的灰度结构;缺点则是对比特开销依赖较强,在低信噪比和低资源预算下容易出现明显的块状失真和纹理退化。

第二类为语义特征传输方案。该方案不再优先发送大规模频域像素信息,而是从图像中提取与类别和结构密切相关的统计与形态学描述,如目标中心位置、尺度信息、区域面积、轮廓紧致度、填充率、空洞特征、对称特性以及投影分布等,并将这些特征作为语义表征进行压缩传输。接收端则依据这些语义特征完成结构恢复与类别判定。该方案的核心价值在于显著降低传输负担,并增强低信噪比下的任务稳定性,但由于其恢复依赖于特征的表达能力,因此在图像细节还原方面存在天然上限。

第三类为任务子空间令牌传输方案。与语义特征方案相比,该方案进一步将任务相关信息映射到低维子空间令牌中,形成更紧凑的任务表示。其设计目标不是重建尽可能完整的图像,而是在极低开销下保留完成任务所需的关键结构信息。为了保证比较公平,系统不直接传输类别标签,也不将答案显式写入令牌,而是通过任务相关子空间中的连续描述来支持接收端恢复与判定。这一设计使得任务子空间令牌传输真正体现“以任务为核心”的压缩思想,而不是依靠先验泄露获得表面上的高准确率。

在信道模型方面,本文采用加性高斯白噪声信道,通过不同信噪比条件下的对比实验观察三类方案的性能变化规律。接收端统一采用图像域任务判决流程,避免由于不同方案采用不同判别器而产生评价口径不一致的问题。也就是说,三条链路虽然发送表示不同,但最终都要在统一的任务标准下接受检验,这一设置对于保证公平性尤为重要。

3 关键模块设计与实现逻辑

从系统实现角度看,图像任务驱动传输的关键并不只是“压缩得更狠”,而是“压缩得更有针对性”。因此,本文在设计时特别强调表示层、信道层和任务层之间的一致性。

对于像素级DCT链路,本文重点保留低频和中低频主要分量,原因在于几何图形的主体轮廓、亮暗区域分布和整体灰度结构主要集中在这些分量中。对于本研究中的任务图像而言,这种设计能够在控制传输比特数的同时保留基本轮廓信息。在低信噪比条件下,该方案会优先表现为边缘模糊与背景伪影增加,而不会立即导致完全不可识别,这为其后续任务判定保留了一定基础。

对于语义特征链路,本文重点构建可解释的结构描述集合。仅依赖面积、中心和尺度等低阶特征,虽然能够初步区分不同目标,但容易在圆形与圆环、方形与十字形之间出现混淆。因此,系统进一步引入空洞相关特征、轮廓填充率、横纵投影特性、对称性描述和径向变化信息,以提升特征的判别能力。这样一来,语义特征不仅可用于低码率传输,还能较好反映结构差异,使得接收端即便无法还原精细纹理,也能较稳定地恢复任务相关结构。

对于任务子空间令牌链路,本文的设计重点在于“压缩后的判别保真”。系统将多个任务相关特征投影到低维子空间中,再进行量化与传输。接收端对令牌进行反投影或重建后,获得一个能够用于任务推断的近似特征表示。该方案相比直接传输高维语义特征具有更低的开销,但也更容易受到量化误差和噪声扰动影响,因此在设计中必须兼顾子空间基的判别性与数值稳定性。

在重建策略方面,本文并不把语义链路与令牌链路的输出解释为传统意义上的自然图像重建,而是将其视为“结构性恢复”。也就是说,接收端根据恢复到的语义表示重构出具有主要轮廓、几何关系和拓扑属性的任务图像,用于后续分类和结构评价。这一思路符合任务驱动通信的本质:如果系统目标是正确识别与稳定决策,那么恢复对象是否拥有与原图完全一致的像素纹理并非唯一重点,结构与语义的保持才是更关键的问题。

4 性能评价体系构建

语义通信研究的一个难点,在于评价指标往往容易偏向某一类方案。例如,若只看PSNR,像素级方法往往更占优;若只看分类准确率,强先验的低维表示又可能看起来更好。因此,本文采用多指标联合评价的方式,从图像恢复、任务完成和资源效率三个层面对系统进行衡量。这种做法也与现有关于语义通信评价指标的研究结论一致,即语义系统不能再依赖单一传统指标,而应结合任务目标引入多维度评估。

第一类指标是分类准确率,用于衡量系统最终任务效果。该指标能够直接反映不同传输链路在“判得对”方面的能力,是任务驱动系统最核心的性能指标。第二类指标是PSNR,用于衡量图像重建与原图之间的平均像素误差水平。虽然它不能完全代表语义一致性,但仍然能够客观描述恢复图像的数值保真程度。第三类指标是SSIM,用于评估图像结构、亮度和对比度的一致性,更适合观察几何目标轮廓是否保持稳定。第四类指标是IoU,即结构交并比,用于度量恢复目标与原始目标在空间占据范围上的重合程度。对于本文所研究的几何图形任务而言,IoU比单纯像素均方误差更能体现结构恢复质量。第五类指标是单位图像传输比特数,用于评价系统资源消耗。通过该指标,系统可以更清晰地展现不同方案在“传得省”方面的差异。

除了上述曲线指标之外,本文还绘制了典型样本重建图和归一化混淆矩阵。前者用于直观展示不同方案在同一信噪比下的恢复特征与失真模式,后者则用于分析类别间易混淆关系。特别是混淆矩阵能够揭示某些结构相近类别在不同链路中的误判规律,这对于进一步改进语义特征设计具有直接指导意义。

5 实验结果与分析

从整体结果看,三类方案在不同信噪比区间表现出明显不同的优势结构。首先,在低信噪比区域,像素级DCT传输的分类准确率明显偏低,说明在强噪声干扰下,大量像素域信息虽然仍被传输,但其中有效判别成分被噪声与量化失真严重破坏,导致接收端难以稳定完成分类任务。相比之下,语义特征传输与任务子空间令牌传输在低信噪比下表现更稳健,说明当发送内容已经围绕任务需求进行筛选时,系统对噪声的敏感性能够得到一定缓解。

其次,当信噪比进入中等区间后,像素级DCT传输性能快速提升,并逐步在分类准确率、PSNR、SSIM和IoU等指标上取得优势。这表明当信道条件改善到一定程度后,较完整的图像细节能够为接收端提供更多判别信息和更优的结构支撑,因此像素级链路在综合性能上开始反超。也就是说,任务驱动传输并不意味着像素级方案必然落后,而是说明不同链路在不同资源条件下具有不同适用区间。若系统工作在极端受限条件下,紧凑语义表示更有价值;若系统具备一定信道质量和资源空间,则更完整的图像表示可能带来更高上限。

再次,从结构类指标看,像素级DCT传输在高信噪比下的PSNR和SSIM明显优于另外两类方案,这与其恢复方式直接相关。由于语义特征与子空间令牌传输更强调任务有效性而非像素级完美还原,因此其恢复结果更接近“结构性重绘”,虽然主要形状能够保留,但在灰度细节和纹理层面存在明显简化。这也解释了为什么某些情况下语义链路的分类性能尚可,但PSNR并不突出。该现象恰恰说明,图像语义通信中的“恢复好”与“任务好”并不完全等价。

在4 dB这一具有代表性的中低信噪比点上,系统结果表现出较清晰的权衡关系。像素级DCT传输的分类准确率最高,但单位图像传输比特数也显著大于另外两类方案;语义特征传输的开销明显下降,但准确率略有损失;任务子空间令牌传输进一步降低了开销,同时保持了较接近的任务性能。由此可以看出,若以绝对分类性能为优先目标,像素级传输更有利;若系统更强调带宽节约与低复杂度,令牌型方案则具有实际价值。这一结果与近期研究中关于自适应带宽、任务相关表示和轻量化语义编码的发展趋势是相一致的。

从典型样本重建对比可以进一步看出三类方法的本质差异。像素级链路恢复结果通常带有块状模糊和背景伪影,但目标主体大多仍可辨认;语义特征链路恢复结果更简洁,能够较好呈现主要轮廓,但局部形状细节存在一定偏差;任务子空间令牌链路恢复结果最为紧凑,其视觉表现并不追求逼真,而更突出类别判别所依赖的核心结构。换言之,这三类方案分别代表了从“完整像素保真”到“结构语义表达”再到“任务紧凑表示”的不同设计哲学。

从混淆矩阵分析可知,圆形与圆环、方形与十字形仍然是最容易出现混淆的两组类别。这一现象具有较强合理性。前者在外轮廓形状上相近,若空洞特征或内部灰度边界表达不足,就容易相互误判;后者则在中心对称性和横纵投影模式上存在一定相似性,若骨架特征和分支结构表达不充分,也会增加混淆概率。本文在后续修正中强化了空洞、填充率、对称性和径向变化等结构特征,使这一问题得到一定缓解,但也说明语义特征设计本身仍是影响任务驱动传输性能上限的关键因素。

6 讨论

本文系统的意义并不在于证明某一种方案在所有场景下都绝对优于其他方案,而在于说明图像语义通信必须面向任务、信道和资源进行联合建模。传统通信系统关注“是否把原始信息完整送达”,而任务驱动图像传输关注“是否以足够低的代价支撑接收端完成任务”。二者并不存在简单替代关系,而更像是在不同应用约束下的两种优化方向。当业务目标偏向视觉重建与人眼观看时,像素级保真度依然重要;当业务目标偏向识别、控制与告警时,任务相关表示往往更具效率优势。

与此同时,本文也应看到当前研究存在的边界。首先,实验对象为典型几何图形任务,虽然便于控制变量和验证机制,但与复杂自然图像场景仍有明显差异。其次,本文采用的是可解释的手工语义特征与子空间表示,优点是结构清晰、便于分析,缺点是表达能力受限。相比之下,现有研究正在广泛采用深层表示学习、生成模型、变换器结构和轻量化视觉状态空间模型,以实现更强的任务抽象能力与更高的带宽利用效率。再次,语义通信的评价体系尚未完全统一,不同任务下的“语义质量”仍需更细粒度定义,这也是当前研究持续关注的重点问题。

因此,后续研究可从三个方向继续推进。其一,将当前系统扩展到自然图像、遥感图像或视频序列任务,验证任务驱动表示在复杂场景中的泛化能力。其二,引入学习型编码器与判别器,使系统能够自动形成更强的语义压缩表示,而不再主要依赖人工构造特征。其三,进一步探索任务准确率、结构一致性、时延、能耗和鲁棒性之间的多目标联合优化,推动图像语义通信从仿真验证走向更强的工程实用性。

7 结论

本文围绕面向语义通信的图像任务驱动传输问题,建立了一套图像生成、表示提取、信道传输、接收端恢复与统一评价相结合的系统模型,并在同一实验框架下比较了像素级DCT传输、语义特征传输和任务子空间令牌传输三类方案。研究表明,图像任务驱动传输的核心不是简单压缩图像,而是围绕接收任务提炼出对判决最有价值的信息,并在信道约束下实现有效表达。实验结果说明,语义特征与低维任务令牌在低信噪比和低资源预算下更具稳定性与效率优势,而像素级方案在中高信噪比条件下则能够凭借更完整的细节表达取得更高的重建质量和更强的最终任务性能。

这一结论说明,图像语义通信并不是对传统图像传输的简单否定,而是从“面向数据”转向“面向任务”的系统重构。未来,随着目标导向通信、生成式语义恢复、轻量化DeepJSCC和多任务协同优化的持续发展,图像任务驱动传输有望在智能监测、边缘感知、工业视觉和协同机器人等领域形成更具应用价值的解决方案。


参考文献

[1] XIE H, QIN Z, LI G Y, et al. Deep learning enabled semantic communication systems[J]. IEEE Transactions on Signal Processing, 2021, 69: 2663-2675.

[2] QIN Z, TAO X, LU J, et al. Semantic communications: principles and challenges[J/OL]. arXiv preprint: arXiv:2201.01389, 2022.

[3] IYER S, KHANAI R, TORSE D, et al. A survey on semantic communications for intelligent wireless networks[J]. Wireless Personal Communications, 2023, 129: 569-611.

[4] GETU T M, KADDOUM G, BENNIS M. Making sense of meaning: a survey on metrics for semantic and goal-oriented communication[J/OL]. arXiv preprint: arXiv:2303.10867, 2023.

[5] ZHANG H, SHAO S, TAO M, et al. Deep learning-enabled semantic communication systems with task-unaware transmitter and dynamic data[J]. IEEE Journal on Selected Areas in Communications, 2023, 41(1): 170-185.

[6] LYU Z, LI G Y, JUANG B H. Semantic communications for image recovery and classification via deep joint source-channel coding[J/OL]. arXiv preprint: arXiv:2304.02317, 2023.

[7] LOKUMARAMBAGE M, GOWRISETTY V, REZAEI H, et al. Wireless end-to-end image transmission system using semantic communications[J]. IEEE Access, 2023, 11: 37149-37163.

[8] BARBAROSSA S, COMMINIELLO D, GRASSUCCI E, et al. Semantic communications based on adaptive generative models and information bottleneck[J/OL]. arXiv preprint: arXiv:2309.02387, 2023.

[9] SAFAEIPOUR F Z, HASHEMI M. Semantic-aware and goal-oriented communications for object detection in wireless end-to-end image transmission[C]//2024 International Conference on Computing, Networking and Communications. 2024.

[10] LU Z, LI R, LU K, et al. Semantics-empowered communications: a tutorial-cum-survey[J]. IEEE Communications Surveys & Tutorials, 2024, 26(1): 41-79.

2、仿真结果演示

3、关键代码展示

4、MATLAB 源码获取

  V

点击下方名片关注公众号获取

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐