免责声明:
1.内容生成说明:本文内容由AI生成,主要用于博主概览、参考、记录学习与工作过程。文章经过初步审核,仅对格式、可读性及基础事实方面做最小限度的辅助调整,未逐一对比审核参考文献,部分表述、逻辑或示例可能不完全或存在偏差,不对内容的独创性、完整性、时效性、可靠性作任何保证。
2.信息仅供参考:本文内容仅供参考学习交流,不构成专业建议。实际应用时,请结合学术文献、权威资料及自身应用环境进行充分测试验证。
3.可能存在错误或过时内容:博主工作领域比较小众,所使用技术相对落后,审核能力有限。文章内容可能未及时反映前沿技术、最新标准或最佳实践。若读者发现明显错误或不合理之处,欢迎友善之处。但实践前,务必通过独立渠道核实关键信息。
4.版权与引用:本文中可能提及的商标、产品名称、三方代码片段等,其版权归各自权利人所有,若侵犯第三方权利,请联系博主修改或删除。本文内容不得用于侵犯他人合法权益的用途。
5.转载请注明出处。


摘要

图像降噪模块是现代成像产品ISP(Image Signal Processor)管线中的核心处理单元之一,直接决定最终图像的主观质量与客观信噪比。本报告聚焦消费电子、安防监控、车载影像、医疗成像等主流应用领域中所使用的前沿降噪模块,系统调研Bayer域降噪(BNR)、三维降噪(3DNR)、空域降噪(2DNR)以及多域联动的完整降噪逻辑。通过对噪声模型、分域降噪原理、时空联合策略及行业应用实例的全面剖析,本报告提炼出贯穿各领域降噪设计的五条核心设计思想:分域分级、保边优先、时域增益、统计自适应、轻量可测。研究发现,现代ISP降噪模块正从传统的单一域、单策略架构演进为“RAW域基础降噪 + 时域3DNR增强 + YUV域感知精修”的多域协同体系,AI技术的注入则进一步推动了噪声统计建模和纹理保真能力的质变。本报告旨在为图像降噪领域的算法工程师与系统架构师提供一份兼具理论深度与工程实践价值的综合参考。

1 引言

1.1 研究背景

图像噪声是所有数字成像系统面临的共性挑战。在消费电子领域,随着智能手机传感器像素尺寸缩小至亚微米级,单像素受光面积减小导致信噪比(SNR)显著下降,低光照场景下的降噪需求已从“可选增强”升级为“刚需基线”。在安防监控领域,7×24小时持续运行要求摄像机在极低照度(<1 Lux)下仍能输出可辨识的画面,夜间图像质量直接关系到公共安全效能。在车载影像领域,自动驾驶和高级辅助驾驶系统(ADAS)对全天候、全光照条件下的环境感知精度提出了近乎苛刻的要求,低光照下的清晰成像能力直接影响行车安全决策的可靠性。在医疗影像领域,CT、MRI和超声等成像模态受辐射剂量限制和物理原理约束,降噪处理在保证诊断质量方面具有不可替代的临床价值。

图像噪声按物理成因和统计特性可划分为多种类型:散粒噪声由光子的量子特性引起,服从泊松分布;热噪声由电子布朗运动产生,幅度服从高斯分布;暗电流噪声与温度强相关;固定模式噪声(FPN)源于像素间工艺差异导致的响应不均一。在真实成像环境中,这些噪声类型相互叠加,形成了与信号强度、传感器温度、增益设置(ISO)等因素高度耦合的复杂噪声分布。

降噪模块作为ISP Pipeline中的核心处理单元,承载着在信号与噪声之间做出精准区分的关键使命。其主要难点在于降噪强度与细节保留之间的根本性矛盾——过度降噪会导致纹理模糊和“油画感”,降噪不足则留下残余噪点,两者均严重影响成像质量与下游算法(检测、识别、诊断)的性能。

1.2 调研范围与方法

本报告系统调研当前主流消费电子、安防监控、车载影像和医疗成像产品中使用的降噪模块及其算法原理,重点关注以下维度:

  • Bayer域降噪(BNR)的噪声建模与保边滤波策略
  • 三维降噪(3DNR)的时域信息利用与运动补偿机制
  • 空域降噪(2DNR)的核心滤波算法及其适用性
  • 多域联动的完备降噪逻辑与模块协同设计

资料来源涵盖学术文献、ISP芯片厂商公开文档、行业标准与技术白皮书、以及多项专利公开技术方案。报告以工程视角为主线,强调算法的物理可解释性与硬件可部署性。

1.3 报告结构

第二节阐述噪声模型与分域降噪逻辑,为后续讨论奠定理论基础。第三节至第五节分别详述Bayer域降噪、三维降噪(3DNR)、空域降噪(2DNR)的算法原理与工程要点。第六节以行业应用为线索,描述各领域产品的完整降噪逻辑。第七节提炼贯穿各领域降噪设计的核心设计思想。第八节展望未来趋势,第九节总结全文。

2 噪声模型与分域降噪逻辑

2.1 真实噪声的复合模型

真实传感器噪声无法用单一分布精确刻画,通常需要建立多层次复合模型。CMOS图像传感器信号转换链路可概括为:光子输入 → 光电转换(产生电荷) → 电荷累积 → 电压放大 → ADC量化 → 数字输出。在这一链路的每个环节均会引入噪声。

(1)光子散粒噪声:光子到达传感器的过程服从泊松统计,其方差等于信号均值:σp2=Np\sigma_p^2 = N_pσp2=Np。在强光条件下可近似为与信号强度成正比的高斯噪声,即 σp2≈αx\sigma_p^2 \approx \alpha xσp2αx,其中(x)为理想信号值。

(2)读出噪声:包括复位噪声、源跟随器噪声和列放大器噪声,近似为信号无关的加性高斯噪声,方差 σr2\sigma_r^2σr2 由电路设计和温度决定。

(3)暗电流噪声:在无光照条件下因热激发产生的随机电荷,其平均值可通过暗帧扣除(Black Level Correction, BLC)修正,而残留的随机分量则增加等效噪声基底。暗电流与温度呈指数关系,在高温环境下尤为显著。

(4)固定模式噪声(FPN):表现为图像中周期性的明暗条纹或固定亮点,由像素间增益差异和暗电流不一致引起,在ISP中通常由坏点校正(DPC)和逐像素标定等专用模块先行处理。

(5)量化噪声:ADC采样精度有限导致的信号失真,表现为图像台阶效应。量化噪声方差约为 σq2=Δ2/12\sigma_q^2 = \Delta^2/12σq2=Δ2/12,其中Δ\DeltaΔ为量化步长。

上述噪声在RAW域的通用复合模型可近似表达为:

y=x+nshot(x)+nread+ndark(T)+nFPN+nquant y = x + n_{\text{shot}}(x) + n_{\text{read}} + n_{\text{dark}}(T) + n_{\text{FPN}} + n_{\text{quant}} y=x+nshot(x)+nread+ndark(T)+nFPN+nquant

在后续经过Demosaic、色彩校正、Gamma等非线性处理后,噪声的统计特性变得更为复杂,呈现跨通道相关性、空间非均匀性和信号依赖性,要求ISP降噪采用分域、分级的策略进行应对。

2.2 ISP分域降噪的逻辑与必要性

现代ISP管线围绕Bayer→RGB→YUV的色彩空间转换流程组织,在不同阶段部署降噪模块各有优劣,形成互补的分层降噪架构。

RAW域降噪的优势

  • RAW数据未经Demosaic插值,保持传感器原始响应信号,噪声统计模型最为纯粹,尚未被后续非线性处理放大或污染。
  • 在Bayer格式下按通道单独处理,可避免插值带来的颜色串扰伪影。
  • 但RAW域降噪强度不能过大,以免损伤后续Demosaic和细节重建所需的原始纹理信息。

RGB域降噪的必要性

  • 图像增强、锐化、色调映射(Tone Mapping)等非线性操作在提升图像表现力的同时也会放大噪声。
  • RGB域降噪作为过渡层,可在增强后抑制被放大的残留噪声。

YUV域降噪的灵活性

  • YUV色彩空间将亮度(Y)与色度(U, V)解耦,可针对不同分量实施独立降噪策略。
  • 人眼对亮度细节敏感、对色度分辨率较低,因此在色度通道可采取更强力的平滑而不显著影响感知质量。

多域联动的根本逻辑
单独在任一域处理均无法达到最优画质。RAW域负责从源头压制传感器噪声,RGB域补偿非线性增强引入的噪声放大,YUV域针对视觉感知特性实施精细调控。这一多域分级架构构成了现代ISP降噪的核心设计范式。

3 Bayer域降噪(BNR)算法原理

3.1 BNR的信号处理模型

Bayer域降噪(Bayer Noise Reduction, BNR)位于ISP管线的早期阶段,通常在黑电平校正(BLC)、坏点校正(DPC)和镜头阴影校正(LSC)之后,Demosaic之前执行。此时图像数据保持传感器输出的原始Bayer模式(RGGB、GRBG等),每个像素仅含单一颜色通道信息。

BNR的核心任务是:在SNR最低的图像处理起点处,利用噪声统计模型的精确性,以一种“留有空间”的方式降低噪声基底,既显著改善后续处理的质量输入,又不损伤可能包含有用纹理的边缘区域。

3.2 噪声方差建模

噪声方差的精确估计是BNR算法有效性的前提。在RAW域,噪声方差可分解为信号依赖部分和信号无关部分:

σ2(x)=α⋅x+β2 \sigma^2(x) = \alpha \cdot x + \beta^2 σ2(x)=αx+β2

其中α\alphaα为光子散粒噪声系数(传感器量子效率和增益的函数),β2\beta^2β2为读出噪声方差。实际工程中,这两个参数通过传感器标定曲线获取,并随ISO增益和温度动态变化。降噪强度依据局部噪声方差自适应调整——噪声强的暗区增大降噪力度,噪声弱的亮区降低干预。

3.3 核心BNR算法

3.3.1 双边滤波降噪

双边滤波(Bilateral Filter)是Bayer域降噪中应用最广泛的基类算法。其核心思想是同时利用像素的空间邻近性和灰度相似性两个维度的信息来计算加权平均:

x^p=1Wp∑q∈ΩpGσd(∥p−q∥)⋅Gσr(∣yp−yq∣)⋅yq \hat{x}_p = \frac{1}{W_p} \sum_{q \in \Omega_p} G_{\sigma_d}(\|p-q\|) \cdot G_{\sigma_r}(|y_p - y_q|) \cdot y_q x^p=Wp1qΩpGσd(pq)Gσr(ypyq)yq

其中 GσdG_{\sigma_d}Gσd 为空间域高斯核(距离越近权重越大),GσrG_{\sigma_r}Gσr为值域高斯核(灰度越接近权重越大)。两个核的结合使滤波器在平坦区域表现为强平滑(因为邻域像素灰度相似、权重高),在边缘区域自动降低平滑强度(因为跨边缘像素灰度差异大、权重衰减)。

在Bayer域的应用中,双边滤波具有以下工程优势:

  • 色彩无污染:在原始数据上处理,避免了Demosaic后的色彩串扰。
  • 硬件友好:仅需5×5或7×7窗口和查找表(LUT),易于定点化和流水线并行。
  • 保边能力优秀:对结构边界有天然的保持特性。
  • 局限性:对绒毛类细微纹理(如动物毛发、织物)可能出现平滑过度,因为此类纹理的局部灰度差异与噪声难以区分。
3.3.2 非局部均值(NLM)降噪

NLM突破传统局部滤波的局限,利用图像中远距离的相似图像块来计算加权平均。其核心权重函数为:

w(p,q)=exp⁡(−∥Pp−Pq∥2h2) w(p,q) = \exp\left(-\frac{\|P_p - P_q\|^2}{h^2}\right) w(p,q)=exp(h2PpPq2)

其中PpP_pPpPqP_qPq为以像素pppqqq为中心的图像块,hhh为平滑参数。

在Bayer域中,NLM的块匹配需进行搜索窗口限制——设置一个大搜索窗(如17×17)和一个小邻域窗(如5×5),仅在搜索窗内寻找相似的邻域块。NLM利用了自然图像固有的非局部自相似结构,在AWGN场景下降噪效果显著优于局部滤波方法。但其计算复杂度较高(每个参考像素需在大搜索窗内执行块匹配),对硬件带宽和存储构成挑战。

3.3.3 导向滤波与自适应变种

导向滤波(Guided Filter)将滤波输出建模为引导图像(通常为输入图像自身)的局部线性变换,通过盒式滤波快速求解线性系数,整体复杂度与窗口半径无关。近年来,基于区域特征的自适应方法不断涌现:一方面,根据像素局部梯度自适应选择块匹配模式,在平坦区域采用大块匹配、在纹理丰富区域采用小块匹配,既保证了高纹理区域的精细度又提升了平坦区域的降噪效率;另一方面,结合传感器增益和环境温度动态调整空间域和值域权重,增强了算法对复杂拍摄条件的鲁棒性。

3.4 BNR的工程考量

BNR的设计需在降噪强度与细节保留之间取得精细平衡。降噪强度过大会抹平纹理细节,且这种损伤在Demosaic后会被进一步放大;降噪不足则未能在最早的阶段有效压制噪声,给后续处理留下更多挑战。因此,BNR通常采用保守策略——适度降噪、留有空间——将更精细的去噪任务交给后续RGB域和YUV域模块。

在硬件实现层面,BNR的5×5或7×7滑动窗口仅需4-6行行缓存(Line Buffer),功耗和面积均较低。灰度权重可通过LUT替代实时指数运算,进一步降低计算开销。这些特性使得BNR可被嵌入到传感器片上ISP中,实现“传感器直出即降噪”的低延迟处理。

4 三维降噪(3DNR)算法原理

4.1 时域降噪的理论基础

3DNR的核心思想是在空域二维处理的基础上引入时间维度信息,对连续多帧图像进行联合降噪。其时域降噪的理论基础在于:噪声在帧间是随机且独立的(均值为零),而真实场景信号在相邻帧间具有高度相关性。通过沿时间轴对多帧像素进行融合——如简单平均或加权平均——噪声方差可因统计平均效应而得到有效压缩。

对于静态场景,N帧时域平均可将噪声方差降至原来的1/N,即SNR提升N\sqrt{N}N 倍。在实际ISP中,由于存储多帧全图的成本较高,时域降噪通常采用递归滤波方式实现,每一帧的输出融合当前帧输入与前一帧输出,仅需维护一帧参考帧而非多帧全缓存:

Fout(x,y,n)=k⋅Fin(x,y,n)+(1−k)⋅Fref(x,y,n−1) F_{\text{out}}(x,y,n) = k \cdot F_{\text{in}}(x,y,n) + (1-k) \cdot F_{\text{ref}}(x,y,n-1) Fout(x,y,n)=kFin(x,y,n)+(1k)Fref(x,y,n1)

其中FrefF_{\text{ref}}Fref为运动补偿后的参考帧,kkk为由运动强度和噪声水平共同决定的融合系数。

4.2 运动自适应时域滤波(MATF)

在实际视频场景中,场景中的物体几乎总会发生运动。直接沿时域对未经对齐的帧取平均会导致运动物体的“拖尾”和“鬼影”现象,严重影响画质。解决这一矛盾的核心技术是运动自适应时域滤波(Motion Adaptive Temporal Filter, MATF)。

MATF通过运动检测来判断每个区域是否为运动区域:在静止区域采用重时域滤波(当前帧权重k较小,参考历史帧权重大),以充分抑制噪声;在运动区域降低时域滤波权重或切换为空域滤波,避免拖影。这种自适应机制的数学表达为:

k=f(motion_level,noise_level) k = f(\text{motion\_level}, \text{noise\_level}) k=f(motion_level,noise_level)

运动强度越大、噪声水平越低,则当前帧权重k越大(减少时域融合);反之则增加历史帧权重(增强时域去噪)。

相比于更复杂的运动补偿时域滤波(MCTF),MATF不需要精确估计每个像素的运动矢量,仅需对帧间差异进行判别,硬件实现成本显著降低。虽然MCTF在理论上能提供更优的图像质量,但其运动估计模块的逻辑规模很大,且错误估计的运动矢量反而会降低滤波性能。因此在实际ISP芯片中,MATF是更为普遍的时域降噪方案。

4.3 运动补偿时域滤波(MCTF)

运动补偿时域滤波通过精确估计相邻帧之间的局部运动矢量,将历史帧中的对应像素变换到当前帧坐标系后再执行时域融合。其处理步骤包括:

  • 运动估计:利用块匹配算法(Block Matching)或光流场方法,计算当前帧中每个像素在前后帧中的偏移量。
  • 运动补偿:按估计的运动矢量对参考帧进行像素重定位。
  • 融合加权:在运动补偿后的对齐帧基础上执行时域加权融合。

MCTF的优势在于可以实现像素级别的精确对齐,即使对运动物体也能实现有效的时域降噪。但挑战同样突出:低照度场景下噪声极大的帧中,运动估计本身就不可靠;大型运动估计模块的逻辑门数和功耗限制了其实时部署;错误估计导致的失配融合反而会引入新的伪影。

4.4 时空联合3DNR的完整框架

现代3DNR系统通常不是单一的时域滤波器,而是将空域滤波和时域滤波以协同方式有机整合,形成时空联合处理框架。其基本流程包括四个环节:

  1. 运动估计与噪声分析并行驶能:分析相邻帧之间的运动信息,同时评估当前帧的噪声幅度和空间分布特性。
  2. 滤波决策:根据每个区域(甚至每个像素)的运动强度、噪声水平及信噪比特征,判定在时域滤波和空域滤波之间的处理策略及其融合比例。
  3. 联合执行:在静止区域侧重于利用多帧时域信息进行深融合,充分压低噪声;在运动区域更依赖于空域保边滤波,避免拖影。
  4. 输出精修:对融合结果进行后处理,校正残留伪影并恢复边缘锐度。

典型的3DNR实现支持720p30、720p60、1080p30乃至1080p60等多种分辨率模式,在低照度环境中凸显出比纯2DNR更优越的性能。OEM厂商的3DNR算法通过5帧叠加与时空域滤波结合,可将暗光场景的噪点降低约60%。

4.5 3DNR的应用与约束

3DNR在多种场景下具有不可替代的价值。在低光照拍摄中,通过多帧融合能大幅提高信噪比,显著改善暗区的可视性。在视频拍摄中,3DNR能持续维持画质稳定性,减少闪烁和噪声干扰。

然而,3DNR也面临工程约束:多帧处理需要额外计算资源,对高分辨率高帧率视频的处理可能增加延迟;需要与外部内存(DDR)交互来存储参考帧位,对内存带宽形成显著要求;运动区域若处理不当,仍可能产生运动拖影、鬼影等问题,需结合噪声估计与运动检测的精细参数进行权衡优化。

5 空域降噪(2DNR)算法原理

5.1 空域降噪的基本范式

空域降噪是ISP中最基础的降噪单元,其对单帧图像的每个像素(及其邻域)直接施加滤波操作,不依赖时间维度的多帧信息。空域降噪适用于RAW域、RGB域和YUV域,方法和域的选择取决于具体的噪声分布与图像质量需求。其基本操作统一于“加权平均相似像素”这一思想:

x^p=∑q∈Ωpw(p,q)⋅yq∑q∈Ωpw(p,q) \hat{x}_p = \frac{\sum_{q \in \Omega_p} w(p,q) \cdot y_q}{\sum_{q \in \Omega_p} w(p,q)} x^p=qΩpw(p,q)qΩpw(p,q)yq

不同空域算法的本质区别在于如何定义像素间相似性权重w(p,q)w(p,q)w(p,q)

5.2 核心空域滤波算法

5.2.1 双边滤波(Bilateral Filter / 2DNR)

双边滤波的权重由空间核与灰度核乘积构成。当邻域像素与中心像素灰度差异超过σr\sigma_rσr时,其贡献被迅速衰减——换言之,滤波器在边缘两侧停止平滑,从而实现保边效果。在YUV域2DNR中,双边滤波广泛用于亮度(Y)通道的降噪,通常配置为5×5或7×7窗口。

5.2.2 非局部均值(2D-NLM)

NLM的空域版本2D-NLM在给定的搜索窗中为每个参考像素计算图像块相似度。由于其利用了全图范围内的非局部冗余,2D-NLM在性能与面积上达到了较好的平衡,是许多厂商ISP芯片中YUV域降噪的主力算法。然而,其“逐像素匹配与加权”的模式使得计算开销较大。

5.2.3 导向滤波

导向滤波在YUV亮度降噪中表现出色——其局部线性模型可以保证边缘不被跨越的同时,避免梯度反转伪像。计算复杂度仅与输入像素数O(N)成正比,与滤波窗口半径无关,因此在大窗口平滑场景下具有明显效率优势。

5.2.4 小波阈值降噪

小波阈值降噪将图像映射到多尺度小波域,对细节子带系数施加软阈值、硬阈值等收缩操作。由于噪声主要分布在高频子带,对高频系数进行阈值收缩可有效降低噪声,而低频系数(包含图像整体结构)则基本保留。小波降噪的主要优势包括多尺度分析能力和适中的计算开销(离散小波变换为O(N)),在纹理丰富的图像中表现良好。其在工程中的主要挑战在于对各向异性结构的表达能力有限,且阈值参数对图像类型的敏感度较高。

5.3 2DNR与3DNR的协同关系

2DNR和3DNR在实际ISP中并非孤立使用,而是以多级协同的方式发挥各自优势。2DNR在照度较好的场景下可有效消除噪声,因其噪声水平较低;而在低光高增益条件下,噪声水平急剧增大,此时3DNR的张帧优势更为显著。在工业实践中,两者通常组合配置——例如使用运动自适应的3D时域滤波器联合新型2D空域滤波器,在运动区域自动切换为空域2D处理,以兼顾去噪效果和边缘锐度的双重要求。

6 行业应用与完整降噪逻辑

6.1 智能手机与消费电子

智能手机的影像系统是降噪技术应用最为密集的领域之一。现代旗舰手机ISP通常采用多模块协同的完备降噪链路:在RAW域部署BNR实现源头压制,其基于双边滤波或NLM,参考噪声方差曲线对光子散粒噪声和读出噪声进行适度抑制,降噪强度严格保守、防止抹掉后续模块重建细节所需的纹理基底;对于Burst连拍模式,通过多帧堆叠的MFNR处理,借助对齐与融合技术大幅降低噪声基底,同时兼顾HDR场景下的信噪比需求;视频模式下TFNR利用运动补偿连续帧(通常为3-5帧滑动窗口)进行时域滤波,解决亮度闪烁和纹理漂移问题;在YUV域,2DNR对亮度通道实施保边平滑,CNR则对人眼最不敏感的色度通道施加更强降噪,在不明显损失视觉细节的前提下进一步提升观看体验。

前沿的AI-ISP方案进一步提升了手机降噪的能力边界。以芯原ISP9000为代表,其集成的AI降噪算法结合多尺度2D和3D噪声抑制及YUV域色度噪声抑制,在极低光照环境下仍能保留精细细节。行业主流实践不再整段替换ISP,而是以插桩式替换与协同式旁路为主,在RAW、YUV、时域三类典型位置引入轻量深度模型进行定点替换或增强。

6.2 安防监控

安防监控对降噪模块的核心诉求是全天候有效,尤其需要在极低照度下仍能辨识画面中的关键细节。

2D DNR在安防系统中主要用于帧内降噪,通过分析同一帧内像素的邻域信息进行平滑,其有效性局限于亮度较好的场景。在低照度条件下,随着传感器增益提升,噪声急剧增大,2D DNR因不能借助时域冗余而表现受限。

3D DNR是安防降噪的重中之重。它通过分析连续多帧之间的时序关系,区分背景噪声与真实运动目标。在静止背景区域,对多帧像素进行平均化可有效压低噪声;在运动目标区域,基于运动判别和运动自适应的机制降低时域权重,从而避免运动目标模糊。3DNR还可有效提升视频编码压缩效率——噪声较少的画面能降低码率占用,释放存储和网络带宽。

在极端低光照(≤1 Lux)监控场景中,普通的空间或时域滤波仍可能无法充分还原信息。一些前沿方案采用了跟踪轨迹的三边滤波器,先进行双边搜索以获取粗运动矢量,再通过幅度-相位滤波判断并校正错误矢量,最后沿物体运动轨迹应用三边加权滤波,实现了在极暗环境下对动态目标的稳定降噪。OEM厂商通过结合3DNR与区域自适技术,在监控场景下可降低暗光噪点约60%。

6.3 车载影像

车载摄像头(环视、前视、后视、驾驶员监控等)对降噪的需求围绕全天候下的清晰感知能力展开。

传统ISP降噪架构:车载摄像头ISP通常覆盖RAW域、RGB域及YUV域全链路,包含AGC(自动增益控制)、AEC(自动曝光)以及降噪等模块。在传感器侧,如思特威SC326AT车规级图像传感器已实现片上ISP功能,在520nm可见光波段下量子效率高达85%,暗电流在高温下得到大幅抑制,为降噪模块提供了更低噪声基底的原始输入。

融合解决方案:索尼ISX038同时输出RAW(用于ADAS环境检测和识别)和YUV(用于行车记录仪和AR导航显示等)双路图像,两路分别执行协同降噪,兼顾感知精度和人眼观看体验。

AI-ISP的低延迟降噪:海康车载AI-ISP创新地将AI模块直嵌入ISP-Pipeline流程中运行,整体延迟可小于5ms(约1/10帧),较传统AI-ISP的NPU-DDR-ISP长路径大幅缩短。该设计使得在显著提升感光度的同时允许大幅度降噪,在低照环境下实现亮度与画质的双重跃升。

6.4 医疗影像

医疗影像降噪具有鲜明的领域特性——其首要约束是保障微小病灶结构在降噪后不被模糊或消除,因为这对临床诊断至关重要。医学图像噪声类型包括高斯噪声(CT、MRI中常见)、散斑噪声(超声中常见)以及椒盐噪声等。医学图像降噪算法呈现从经典空间域滤波到非局部方法、再到深度学习方法的演进脉络。高端医学成像设备通常采用多级、多模态融合策略——先通过Bayer域或等效RAW域压制传感器噪声,再在显示域叠加后处理精细降噪,同时结合多帧平均和迭代重建中的正则化去噪手段,在保证诊断信息零损失的前提下改善图像的视觉呈现。

7 核心设计思想总结

综合上述算法原理与行业实践,可提炼出现代ISP降噪模块设计贯穿始终的五条核心思想:

7.1 分域分级

降噪任务不可由单一模块在单一色彩空间中完成。RAW域在遵循传感器物理模型的基础上做初步降噪,RGB域补偿非线性增强引入的噪声放大,YUV流域针对亮度与色度感知特性独立精修。这一分域架构既充分发挥了各域信息表征的优势,又将计算复杂度和降噪损伤控制在可控范围,避免了某单一模块成为画质的单一瓶颈。

7.2 保边优先

无论哪个域的降噪算法,保持边缘与纹理结构是最高优先级的约束。双边滤波通过值域核实现跨边缘权重衰减,NLM通过图像块整体相似度区分噪声与结构,导向滤波通过局部线性假设避免梯度反转——这些算法的设计思路共同指向一点:宁可留下少量残余噪声,也不以抹平结构信息为代价换取噪点清零。保边优势已成为所有可工业部署降噪算法的先决条件。

7.3 时域增益

在对象帧间运动可控的前提下,引入时域多帧信息是提升信噪比的最高效手段。3DNR通过运动检测与运动自适应在静止区域充分融合多帧、在运动区域自动降级为空域2D处理,既获得了时域增益又避免了运动拖影。帧间非局部性的利用大幅扩展了有效信息的参与半径,特别适合需要持续监控或全天候运行的应用场景。

7.4 统计自适应

现代ISP降噪系统已不再是固定参数的静态滤波器,而是依据噪声统计规律和环境场景实时调整参数的智能系统。降噪强度随ISO增益、传感器温度、局部噪声方差、边缘强度等因素动态变化——亮度不足、噪声强的暗区降低阈值、强化平滑,亮度充分、噪声弱的亮区提高滤波容限保护纹理。这种自适应机制显著增强了算法对多变拍摄条件的鲁棒性。

7.5 轻量可测

在工业部署环境中,算法质量(PSNR/SSIM)并非唯一考量要素。计算量(MACs)、内存带宽(DDR访问)、延迟(端到端延迟)、功耗、定点化精度以及量产一致性等因素更为关键。因此,LUT替代实时浮点运算、递归结构降低帧缓存、行缓存化节约带宽、定点化保证精度等工程化技术贯穿整个ISP降噪的设计过程,轻量与可量产的约束已从外部需求内化为算法设计的基本维度。

8 未来趋势与挑战

8.1 AI与传统方法的融合演进

传统ISP降噪长期采用物理模型驱动和手工参数调校的方式,技术天花板受限于算法的先验表达能力。近年来,以CNN、Transformer为代表的深度学习降噪在公开基准上大幅超越传统算法,在SIDD等智能手机真实噪声数据集上PSNR已突破39-40 dB量级。但纯AI方案在移动端和嵌入式设备中存在实时性、功耗和长尾场景泛化性的挑战。行业正走向“传统方法保底 + 轻量AI增益”的融合路线——在RAW/YUV/时域关键节点以插桩式引入轻量深度模型,保持与传统AE/AF、Demosaic、Sharpen等模块的时序与元数据耦合,在兼顾系统稳定性的前提下突破传统天花板。

8.2 自监督学习与大模型知识蒸馏

自监督降噪方法(如Noise2Noise、Noise2Void、TBSN等)摆脱了成对噪声-清洁训练数据依赖,为降噪系统的零样本适配和跨传感器泛化打开了大门。知识蒸馏技术的成熟使得大模型的降噪能力能够转移到轻量学生模型中,在移动设备上实现高性能降噪。这一技术路线特别有利于在传感器类型多样、成像条件多变的安防、车载、工业检测领域的规模化应用。

8.3 计算摄影的进一步赋能

高阶降噪正与计算摄影的其他技术(HDR合成、高分辨率重建、夜景模式等)发生深度绑定。Burst多帧融合不仅在时域上压低噪声,还同时服务动态范围扩展和细节重建;RAW域降噪与Demosaic超分辨率联合共优化,开始在同一学习目标下统一建模。未来降噪模块将不再是ISP中的一个孤岛,而是与曝光控制、焦点选择乃至语义感知紧密耦合的综合计算管线。

9 总结

本报告系统调研了当前消费电子、安防监控、车载影像及医疗成像产品中所使用的图像降噪模块的核心算法原理及其逻辑,形成了以下主要结论:

(1)降噪模块呈现代际分层的架构特征。从RAW域BNR的源头抑制,到时域3DNR的帧间增益,再到YUV域2DNR的感知优化,各模块在统一的多域协同框架下发挥互补优势,共同构成完备的降噪逻辑闭环。

(2)核心算法可归为三大技术路线。Bayer域降噪以双边滤波、NLM和导向滤波为主体,依托RAW信号统计模型保边平滑;三维降噪以运动自适应时域滤波为核心,通过融合多帧信息实现SNR增益;空域降噪作为基础和补充,在亮度、色度通道独立调优。

(3)行业应用呈现“统一架构、场景定制”的特征。各行业降噪的基本逻辑架构趋于一致,但依据具体场景的成像要求差异,在降噪策略和强度配置上进行精细化定制——智能手机强调夜景画质与多帧融合,安防监控侧重全天候低照度效能,车载影像追求感知精度与超低延迟,医疗影像将诊断安全性置于降噪所有设计准则之上。

(4)五条核心设计思想可指导降噪系统架构。分域分级、保边优先、时域增益、统计自适应和轻量可测,这五条原则构成了现代ISP降噪工程实践的方法论基底。

(5)AI与传统方案的融合是确定性的未来方向。传统方法继续作为量产可靠的基线底座,AI降噪在NPU算力可用场景下提供穿透天花板的能力增益。二者以对接而非替代的关系融入ISP Pipeline,代表了降噪技术演进的主航道。

参考文献

[1] 芯原推出新一代集成AI的ISP9000图像信号处理器. 2025.

[2] 中关村在线. 摄像机ISP技术-数字宽动态. 安防监控新闻.

[3] 海康AI-ISP技术在车载的应用场景. 电子发烧友. 2025.

[4] Khatamov O. Image Denoising and Reconstruction in Medical Imaging. Zenodo, 2025.

[5] 21ic电子网. VISION GUIDE - 25: 常见的ISP图像去噪. 2024.

[6] 中国光学期刊网. SIDD/DND数据集PSNR/SSIM结果. 2025.

[7] 邮科OEM摄像头图像处理技术:从硬件协同到智能进化. 51CTO, 2025.

[8] ISP算法之BNR降噪(Bayer域). CSDN, 2024.

[9] ISP基础(03):拜尔域去噪BayerNR. 腾讯云开发者社区.

[10] ASICFPGA. Advanced 2D+3D Noise Reduction Core - ISP IP. 2026.

[11] 从理论到实践:时空联合3D降噪算法的核心实现与优化策略. CSDN, 2026.

[12] 思特威发布SC326AT 3MP车规级CMOS. 快科技, 2025.

[13] 海康AI-ISP技术在车载的应用场景. 电子发烧友, 2025.

[14] Khatamov O. Image Denoising and Reconstruction in Medical Imaging. Zenodo, 2025.

[15] Detail-preserving denoising of CT and MRI images via adaptive clustering and NLM algorithm. Scientific Reports, 2025.

[16] ISP的pipeline的几种关键算法. CSDN, 2025.

[17] VISION GUIDE - 25: 常见的ISP图像去噪. 21ic, 2024.

[18] Noise-Aware Encoder Training and Specialized Denoiser for JPEG AI. J. Phys.: Conf. Ser., 2025.

[19] Tracking-Based Denoising: A Trilateral Filter-Based Denoiser for Real-World Surveillance Video. Sensors, 2025.

[20] Digital Noise Reduction: How It Works in Security Cameras. 365securitysolution, 2025.

[21] 一种自适应的NLM降噪方法技术. 2023.

[22] (3dnr)多帧视频图像去噪(一). CSDN, 2025.

[23] 双边滤波. 百度百科.

[24] ISP的pipeline的几种关键算法. 2025.

[25] 索尼发布车载摄像头ISX038图像传感器:可同时输出RAW和YUV图像. 2024.

[26] 论降噪与保真的平衡:减少图像降噪失真的技术路径与工程实践. 百度开发者, 2025.

[27] (3dnr)多帧视频图像去噪(一). CSDN, 2025.

[28] 一种视频大噪声去除方法与装置. 中国专利CN121147055A, 2025.

[29] AI替代Denoise模块的结构融合路径与性能评估(实战篇). 松码论坛, 2025.

[30] 征程6|YUV域降噪模块YNR简介. 地平线开发者社区, 2025.

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐