论文题目:Single Remote Sensing Image Super-Resolution via Convolutional Neural Network and Diffusion Model

论文链接:https://ieeexplore.ieee.org/document/11515151

论文代码:https://github.com/Meng-333/CNN-DiffSR

checkpoint:百度网盘  https://pan.baidu.com/s/1ZYW09S4JiWNd_8_x_WdxDw?pwd=0115 or 谷歌网盘 https://drive.google.com/drive/folders/1SdSU1Q9nca-aQZkf5lEQ6fplRtsVNELp?usp=sharing

发表时间:2026.5.8

其它说明:如果我们的论文或代码对您有所帮助,请引用致谢!
————————————————

1. 背景
人工神经网络正在被越来越多地应用在遥感影像超分辨率重建任务中。然而,现有遥感影像超分辨率模型主要侧重于通过增加模型的深度和宽度来提升像素级指标的高保真度重建性能,而对高感知度重建性能关注较少。本章以遥感影像的数据特点和内容输出质量为切入点,通过在生成式扩散模型的逆向过程中嵌入引导影像的高维先验信息,提出了一种基于条件引导的扩散模型遥感影像超分辨率重建方法,能够生成伪影更少、清晰度更高的影像样本,并具有良好的语义准确性。同时,提出的通用性端到端超分辨率框架为基于扩散模型的遥感影像超分辨率重建研究提供了一种有效的模型构建策略。

2. 摘要
近年来,基于扩散生成模型的超分辨率(SR)方法在遥感图像质量提升方面取得了显著进展。然而,扩散模型的表征学习能力尚未得到充分挖掘,尤其是在利用更丰富的先验信息进行逼真重建方面。本文提出了一种端到端的遥感图像超分辨率方法(卷积神经网络引导的扩散模型超分辨率方法,CNN-DiffSR)。该方法结合了卷积神经网络(CNN)生成的初始超分辨率图像,并以此指导扩散模型的超分辨率重建,生成视觉清晰、语义准确且更接近高分辨率图像的图像样本。在多个基准数据集上的实验表明,我们的方法能够同时恢复具有更精确纹理细节和更高视觉感知质量的遥感图像。此外,在实际遥感图像超分辨率实验和下游任务性能提升测试中,我们获得了更理想的结果和更高的分类精度(+6.6%),表明该方法为提高遥感图像的可读性提供了一种潜在的解决方案。

3. 方法
我们提出了一种基于卷积神经网络条件引导的扩散模型遥感影像超分辨率方法,结合设计的端到端策略,在包含多种遥感场景的三个遥感影像数据集和真实场景遥感影像数据上进行验证,该方法在视觉感知指标上表现优异,能够生成视觉清晰且语义准确的超分辨率影像结果。

4. 数据集和评价指标
研究获取了10,631个高分辨率遥感影像样本(256×256大小),其中训练集8,987个样本,测试集1,644个样本。涵盖多种类型遥感场景的高分辨率遥感影像,包括建筑物、草地、汽车、停车场、树木、道路等遥感场景。

我们使用五种广泛使用的图像质量评估指标,包括包括峰值信噪比(PSNR)、弗雷歇距离指数(FID)、图像感知相似性(LPIPS) 、无参考平均梯度(AG)和无参考自然图像质量评估(NIQE)。

Dataset Link: ​ ​​https://drive.google.com/drive/folders/1SdSU1Q9nca-aQZkf5lEQ6fplRtsVNELp?usp=sharing

5. 实验
实验结果表明,本文提出的CNN-DiffSR方法在x4和x8超分辨率任务上均表现优异,在高质量视觉重建方面具有优势。

为了进一步评估CNN-DiffSR模型在不同场景遥感图像中的有效性,我们将提出的方法与近两年的代表性遥感影像超分辨率方法 SRADSGAN和EDiffSR 进行了对比。

为了评估超分辨率结果在遥感下游视觉任务中的应用水平,我们训练了一个场景分类模型 ResNet50[76],并在 UC Merced 训练数据集上经过 100 个 epoch 的训练,使其达到最佳性能。训练后的 ResNet50 模型在 UC Merced 测试集上取得了 0.854 的总体准确率。总体准确率 (OA)、精确率、召回率和 F1 分数是我们场景分类实验中使用的评估指标,表 IV 列出了不同遥感超分辨率方法在 UC Merced 测试集上的分类结果。从表 IV 可以看出,我们的 CNN-DiffSR 在 OA、召回率和 F1 分数上均超过了 0.85、0.849 和 0.85,而排名第二的 TransENet 仅在 OA 上达到了 0.849。这意味着,与其他遥感超分辨率方法相比,我们的 CNN-DiffSR 能够恢复更真实的纹理细节,并有助于更准确地完成遥感下游场景分类任务。

为了验证我们提出的CNN-DiffSR方法在真实场景遥感影像上的有效性,我们在没有降采样的情况下对真实的8张NWPU-RESISC45 遥感影像样本(128×128→512×512)进行了超分辨率推理实验。

6. 结论
在本研究中,我们开发了一种名为 CNN-DiffSR 的端到端遥感图像超分辨率框架,用于生成视觉清晰且语义准确的 SR 图像。具体而言,该方法将卷积神经网络生成的初始 SR 图像与去噪过程中随机采样的噪声图像融合,以控制扩散模型的生成过程,并确保生成的 SR 图像的真实性。在多个基准数据集上的评估实验表明,我们的方法在保持或提高视觉质量方面优于现有的最先进的 SR 方法。此外,在场景分类实验中,CNN-DiffSR 的分类精度也高于其他对比方法。在未来的工作中,我们计划将该方法扩展到更高维数据(例如高光谱数据、卫星视频、海洋和气象数据等)的 SR 任务,并探索构建一个统一的多模态 SR 处理框架,以满足不同类型遥感数据的 SR 需求。

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐