总结一下上采样,主要来源于论文《Deep Learning for Image Super-resolution:A Survey》

  1. 上采样层位置
    上采样位置
  2. 上采样方法
    2.1预定义插值式
    最近邻插值、双线性插值、双三次插值,效果和计算量逐个上升;虽然插值式上采样已没人用,但是下采样过程(数据准备从HRGT到LR)最常用的还是双三次。
    基于插值的上采样方法只能通过图像的本身内容提高图像的分辨率,并没有带来更多信息,相反还有噪声放大、计算复杂度增加、结果模糊等副作用。
    2.2 反卷积
    在这里插入图片描述
    由于反卷积是个端到端的操作而且效果还行,所以在论文中被相当广泛地采用,其缺点就是由于uneven overlapping导致的下图中的棋盘效应。
    在这里插入图片描述
    这是由于stride不能被卷积kernel size整除导致的。如下图,以一维信号举例(stride=2、size=3),上面黑白相间表示原始信号基础上进行了插0的expanding;下面表示反卷积的结果,第1和第2个块只接收到的非0信号只有上面的第一个黑块,第三个却能接收到两个黑块,导致其像素值过高,因此输出信号整体不均匀。
    在这里插入图片描述
    2.3 Sub-layer
    在这里插入图片描述
    原来是h * w * c,上采样倍数为s,sub-layer就是拿s * s个卷积核来卷,形成h * w * c * s * s的结果,再reshape成hs * ws *c。
    与反卷积相比,子像素卷积具有更大的感受野,它提供了更多的上下文信息以帮助生成更多逼真的细节。然而,由于感受野的分布是不均匀的,并且块状区域实际上共享相同的感受野,因此可能会导致在不同块的边界附近出现一些伪影。另一方面,独立预测块状区域中的相邻像素可能会导致输出不平滑。
    2.4 Meta Upscal Module
    最新突出的一种上采样方法,第一个可进行任意倍率的上采样的模块。采用了元学习的思想,这个后续再详细介绍。来源于论文《Meta-SR: A Magnification-Arbitrary Network for Super-Resolution》
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐