别再瞎猜了:去噪网络到底该学“信号”还是学“噪声”?一维信号去噪中的结构–容量匹配和预测目标优选
如果你曾经训练过去噪网络,一定遇到过这个看似不起眼的选择:损失函数里,是让网络直接预测干净信号,还是预测噪声?绝大多数人想都不想就选了预测干净信号——这似乎最自然,但真实情况是,这个不经意的选择,可能让你的模型白白浪费一半性能,甚至在完全相同的架构下,把收敛速度拖慢数倍,更反直觉的是,在某些网络上表现惊艳的目标,换一个架构反而会成为灾难。
本文把3种主流去噪架构和扩散模型掰开揉碎,反复切换预测目标,最终发现一条简洁而有力的规律:不是目标本身难不难,而是你的网络结构“吃不吃得下”这种目标,可以把它叫作“结构–容量匹配”,搞懂这一点,比盲目堆层数、调学习率要管用的多。
01 | 同一个去噪任务,2条截然相反的优化路径
想象你面前有一张被水浸透的字画,你可以做2件事:
方案A:直接画出干净的原画,这需要你对原作的笔触、构图有极强的重建能力。
方案B:只把水渍描出来,再从湿画里减去水渍,任务简单许多,因为水渍的纹理通常更随机。
对应到网络训练,方案A的监督目标是纯净信号,方案B的目标是残差噪声,噪声往往接近白噪声或粉红噪声,频谱结构简单;纯净信号则充满精细的波形起伏,直觉上,学噪声更快,但实验发现:有的架构死活学不好噪声,却能把纯净信号恢复的漂漂亮亮,这打破了“噪声预测一定更容易”的假设。
背后的原因,就是网络的归纳偏置和目标的统计特性是否“对上眼”。
02 | 结构压缩与目标统计特性的隐秘联姻
我们把架构看成一种“信息压缩器”,以类ViT的JiT架构为例,它把信号切成固定小块,再用线性投影映射到隐空间,这个过程天然像低通滤波:块内高频细节被抹平,保留下来的主要是低频包络,如果此时你让网络预测纯净信号,就等于逼着它在被压缩的表征里重建高频波形——这明显超出了能力范围,奇怪的是让它预测噪声反而更差,因为噪声的高频残差正是被压缩丢掉的那部分。
但故事到这儿还没完,当换成粉红噪声(低频能量更强),JiT预测噪声的性能突然回升,因为粉红噪声的频谱分布,恰好与分块压缩的特性相容,这就揭示了第1条匹配规律:压缩偏向低频的结构,更适合统计能量同样集中在低频的目标。
相比之下,深度卷积网络DnCNN简直是为“噪声预测”而生的,它的逐层堆叠不断增大感受野,隐式学习一个残差映射。网络的输出天然适合表示“输入和干净信号的差异”,实验结果毫不意外:DnCNN在噪声预测模式下,输出信噪比提升显著高于预测纯净信号,而且收敛快的惊人,白噪声、粉红噪声通吃。
U-Net又是另一番景象,它用下采样提取深层特征,再用上采样配合跳连恢复细节,相当于同时保留高频残差和低频结构2条通路,因此,U-Net成了唯一对两种预测目标都极其稳定的架构,如果你不想纠结,拿U-Net开箱即用最安全,代价只是参数稍多、推理略慢。
03 | 扩散模型里的“灵魂二选一”:预测x₀还是ε?
DDPM训练时同样要站队:让模型预测原始信号x₀,还是预测添加的高斯噪声ε?理论上这2个可以互相转换,但训练和采样的表现天差地别。
预测x₀,要求模型在每一步从极度含噪的状态中推测干净信号,相当于在每个扩散步上都学习一个“最优去噪方向”,这可以让音乐、语音这类强周期信号保留谐波结构,听感更自然。预测ε,则让模型专注估计当前的噪声分量,对非平稳瞬态信号(如地震波、振动信号)更友好,且对噪声强度变化更鲁棒。
实用建议只有一句话:先算一下信号的功率谱平坦度,频谱越接近白噪声,选ε预测;能量越集中在低频,选x₀预测,这套启发式规则,已经在多种数据集上得到验证,可以直接当作扩散模型的设计起点。
04 | 容量压缩实验:给“匹配假说”上压力测试
为了验证结构–容量匹配不是巧合,设计了直观的压力测试,拿JiT动刀:
Token压缩: 改变分块大小,小块保留更多时间细节,适合预测纯净信号;大块把噪声在块内平均得更简单,反而降低了噪声预测的难度。
隐层压缩: 削减隐空间维度,强制丢弃次要结构,结果和Token实验一致:低维空间对纯净信号重建极不友好,对噪声预测影响却微乎其微。
两刀切下去,规律异常清晰:压缩得越狠,预测目标就该越“简单”;保留细节越丰富,才越能驾驭复杂的纯净信号重建, 这不只是经验,而是可以直接指导你调分块大小和隐维度的设计原则。
05 | 最后的提醒:不要只盯着SOTA表
提出方法不会在某个榜单上刷出惊天动地的数字——加几层、换更大的模型也许还能再提零点几个dB,但提供的是一把“做对选择”的钥匙:
分块压缩类架构(JiT / 1D ViT) → 优先噪声预测,或挑低频噪声场景。
深层残差卷积(DnCNN) → 噪声预测是天然最优解,别犹豫。
U-Net → 两种目标通吃,稳健的基线首选。
扩散模型 → 算一下频谱平坦度,x₀和ε对症下药。
跳出“默认预测纯净信号”的惯性,看懂你的网络能压缩什么、该预测什么——这种认知升级带来的收益,远比盲调超参更持久、更可迁移。
参考文章:
别再瞎猜了:去噪网络到底该学“信号”还是学“噪声”?一维信号去噪中的结构–容量匹配和预测目标优选
如果你对信号滤波/降噪,机器学习/深度学习,时间序列预分析/预测,设备故障诊断/缺陷检测/异常检测有疑问,或者需要论文思路上的建议,欢迎学术咨询
工学博士,《MSSP》《中国电机工程学报》《宇航学报》《控制与决策》等期刊审稿专家,擅长领域:信号滤波/降噪,机器学习/深度学习,时间序列预分析/预测,设备故障诊断/缺陷检测/异常检测
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐



所有评论(0)