(NeurIPS25) MODEM: A Morton-Order Degradation Estimation Mechanism for Adverse Weather Image Recover
1、研究动机
针对雨、雾、雪、雨滴等多种恶劣天气造成的图像退化问题,现有统一型图像复原模型无法适配天气退化空间异质性的本质特征。结合状态空间模型与莫顿序遍历的技术优势,该论文提出全新退化估计机制,实现兼顾全局与局部的自适应图像复原。创新点包括:
- 引入莫顿序遍历替代传统扫描,有效捕捉具有空间异质性的天气退化动态特征。如图所示,莫顿扫描能够更好的利用空间局部信息。
- 设计了Dual Degradation Estimation Module,估计全局退化描述子与空间自适应核。这两类互补的特征表征会对 MOS2D 模块进行动态调制,从而实现具备上下文感知能力、空间自适应的图像复原。

2、模型框架
论文整体框架如图所示,输入为退化图像,包括两个分支:1)分支流:与真值(GT)共同进入 DDEM 模块,输出全局退化先验 Z0 和局部退化先验 Z1。 2)主干分支:经过卷积层和多阶段下采样,输入堆叠的MDSL层,由Z0和Z1动态调制特征,完成自适应修复建模。最后经过上采样和卷积重建,最终输出清晰图像。

(1)Dual Degradation Estimation Module (DDEM)。 显著解耦并估计两类退化先验,为修复提供引导。输入的退化图像和GT拼接在一起,经过若干MDSL块处理,得到的特征经 Avg pool + MLP + Linear + SiLU,输出 Z0,即天气类型、整体严重度等全局信息。同样特征经 Conv Blocks + 矩阵乘法,得到雨丝、雪花等局部退化的空间分布。

(2)Degradation modulation mechanism within MOS2D。 如下图所示,(Z_0) 进入 DAFM,做通道级特征调制,调制后的特征经过 Morton Scan,转为一维序列。(Z_1) 与序列特征进入 DSAM,做空间注意力调制。调制后的特征被拆分,送入 S6 Block,动态生成 SSM 参数并完成序列建模,最后得到增强特征 (F_{i+1})

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐
所有评论(0)