发帖
雷达卡
引言：视觉任务的范式演进与架构博弈
自 2017 年 Transformer 架构问世以来，这一最初专为自然语言处理设计的技术，正迅速渗透至计算机视觉领域。从 ViT 首次打破 CNN 在图像分类中的长期统治地位，到 Swin Transformer 在目标检测与语义分割中大放异彩，“Transformer 是否将取代 CNN” 已成为学界和工业界的热议话题。而在图像去噪这一基础且关键的任务中，这场技术路线之争尤为显著——CNN 凭借其对局部结构的强大建模能力稳居主流，而 Transformer 则以全局感知机制开辟了新的解决路径。本文将结合近年代表性研究成果，围绕核心差异、性能实测与融合趋势三大维度展开分析，并提出实践建议，助力技术创新落地。
一、根本分歧：CNN 与 Transformer 的底层逻辑对比
图像去噪的核心挑战在于实现噪声抑制与细节保留之间的最优平衡。CNN 与 Transformer 分别从两个截然不同的角度切入该问题，体现了设计理念上的本质差异。
1. CNN：专注局部的“细节捍卫者”
CNN 的设计基于局部归纳偏置，依赖卷积核的小范围感受野来捕捉像素间的空间关联性，天然契合图像中边缘、纹理等局部连续特征。在去噪场景下，这种特性带来两项显著优势：
- 精细细节还原能力强：使用 3×3 或 5×5 等小尺寸卷积核，能够精准识别局部像素模式，有效区分高频噪声与真实细节，避免过度平滑导致的模糊；
- 高效稳定，资源友好：参数主要集中于局部特征提取，计算复杂度随图像尺寸线性增长，训练收敛快，推理效率高，适合部署于资源受限环境。
局限所在：需通过深层堆叠扩展感受野，难以有效捕获跨区域的长距离依赖关系（如整体结构一致性），在应对混合噪声或非平稳噪声时表现受限。
2. Transformer：着眼全局的“噪声清除引擎”
Transformer 完全摒弃局部归纳先验，转而采用自注意力机制，直接建立任意两像素之间的响应权重，从而实现对全图上下文的动态建模。其在去噪任务中的突出优势包括：
- 强大的全局噪声识别能力：可捕捉分散分布但具有统计相关性的噪声模式（例如荧光成像中的泊松-高斯复合噪声），实现更彻底的降噪效果；
- 更强的泛化适应性：不预设图像局部结构规律，因此在弱光摄影、医学影像等复杂场景中表现出更优的鲁棒性。
主要短板：自注意力的计算开销与图像分辨率呈平方级增长，在处理高分辨率图像时效率低下；同时因缺乏结构先验，模型对大规模数据依赖性强，易出现过拟合现象。
二、实战比拼：前沿研究揭示的真实性能边界
近年来多项顶会成果为两种架构的实际效能提供了有力佐证。以下选取三项代表性工作，从定量指标与应用场景双重视角进行剖析。
1. 极简主义胜利：JiT 展现 Transformer 的原生潜力
何恺明团队于 2025 年提出的 Just image Transformers（JiT），以极简架构颠覆了“Transformer 不适用于像素级重建”的传统观点。
核心突破：去除 tokenizer、预训练等辅助模块，直接将图像划分为大 patch（如 16×16 或 32×32），并让 Transformer 直接回归干净图像本身（x-prediction），而非预测噪声残差（?-prediction）；
实验结果：在 ImageNet 上执行 256×256 图像去噪任务时，FID 指标低至 1.82，优于同期 CNN 方法；更重要的是，它证明了即使没有局部归纳偏置，Transformer 也能在原始像素空间中完成高质量修复；
关键启示：当模型聚焦于“直接生成清晰图像”这一根本目标时，即便结构简单，Transformer 依然具备卓越的表达能力，动摇了“CNN 更擅细节恢复”的固有认知。
2. 协同增效典范：Wavelet-Transformer 实现融合超越
西安电子科技大学 2025 年推出的 Wavelet-Transformer 提出了一种互补融合策略，在荧光显微图像去噪中取得显著突破。
架构设计：利用小波变换将输入分解为高频分量（含噪声与细节）和低频分量（主体结构），分别由 CNN 子网络（基于 DnCNN）处理局部纹理，Transformer 子网络（改进型 Swin）建模全局上下文，最终通过密集融合模块（DFB）整合多尺度信息；
量化提升：在 FMD 数据集上，相比纯 CNN 方案，PSNR 提升 2.34%，SSIM 增加 0.53%；相较纯 Transformer 方案，PSNR 提高 0.88%，SSIM 改善 1.07%；在真实弱光下的斑马鱼心脏图像测试中，PSNR 超越传统方法达 10.11%；
拓展方向：未来可引入非下采样 Contourlet 变换（NSCT），借助其优异的方向敏感性更好地捕捉线条与曲线奇异特征，进一步提升在医学影像、遥感图像等纹理丰富场景中的表现。
3. 自监督突围：TBSN 克服无标签数据瓶颈
发表于 AAAI 2025 的 TBSN（Transformer-Based Self-supervised Network） 针对 Transformer 在缺乏配对数据时的训练难题提出创新解法。
技术要点：采用盲点网络（blind-spot network）结构，仅用单张含噪图像进行自监督训练，避免对干净图像的依赖；结合通道打乱策略增强数据多样性，提升模型鲁棒性；
实际价值：在生物显微图像与夜间摄影等无法获取真值图像的场景中，实现了接近监督学习的去噪质量，大幅降低数据标注成本；
应用前景：为 Transformer 在真实世界低光照、动态成像等无参考条件下的部署提供了可行路径，推动其向实用化迈进。
Transformer-Based Blind-Spot Network（TBSN）：突破自监督去噪的盲点限制
Transformer-Based Blind-Spot Network（TBSN）首次有效解决了在自监督图像去噪任务中，Transformer 架构可能引发的“盲点信息泄露”问题。该方法通过结构创新确保模型无法访问当前像素自身的信息，从而杜绝了利用干净像素进行作弊的可能性，真正实现了盲点约束下的高效学习。
核心机制革新：满足盲点约束的注意力设计
为实现严格的盲点约束，TBSN 提出了两种新型自注意力模块：
- 分组通道自注意力（G-CSA）：将通道分组并独立建模，避免单个像素通过全通道注意力间接获取自身信息，同时保留全局语义表达能力；
- 掩码窗口自注意力（M-WSA）：在局部窗口内引入掩码机制，屏蔽目标像素位置，模拟膨胀卷积的感受野特性，增强局部细节拟合能力。
这两种机制协同工作，在保证信息隔离的前提下，分别承担全局建模与局部精细恢复的功能。
架构集成与效率优化：基于U-Net的混合骨干
TBSN 采用 U-Net 作为主干网络，在编码器和解码器中嵌入 Dilated Transformer Attention Block（DTAB），实现多尺度特征融合。其中：
- G-CSA 负责长距离依赖建模，提升对复杂噪声分布的理解；
- M-WSA 模拟空洞卷积行为，扩展感受野而不增加参数量；
- 通过知识蒸馏技术将 TBSN 的能力迁移到轻量级 U-Net 模型中，显著降低计算开销。
这一设计在性能与效率之间取得了良好平衡，特别适用于资源受限环境。
实际性能表现：领先真实噪声场景下的去噪效果
在 SIDD 和 DND 等真实噪声数据集上的实验表明，TBSN 显著优于现有最先进方法。经过知识蒸馏后的轻量化版本，模型参数减少达 60%，仍保持优异去噪质量，具备部署于移动端及嵌入式设备的可行性，为工业级应用提供了新的解决方案。
融合而非取代：图像去噪的未来主流范式演进
综合当前研究进展可以明确，Transformer 并不会完全替代 CNN，二者结合的混合架构将成为图像去噪的核心发展方向。这种趋势由以下三方面逻辑支撑：
1. 功能互补性：CNN 与 Transformer 的不可替代价值
CNN 的优势不可忽视：在低分辨率图像处理或实时性要求高的场景（如手机端图像降噪），CNN 凭借其低计算复杂度和快速推理能力仍占据主导地位。其固有的局部归纳偏置有助于保留纹理细节，这是纯 Transformer 架构难以直接复制的优势。
Transformer 的独特潜力：面对高分辨率图像或复杂噪声模式（如医学成像、弱光摄影），Transformer 凭借全局注意力机制能更准确捕捉噪声的空间相关性，展现出更强的泛化能力。JiT、TBSN 等研究表明，其在像素级密集预测任务中具有巨大潜力。
2. 融合路径探索：三大主流技术方向
目前，CNN 与 Transformer 的融合已形成清晰的技术路线图，涵盖从频域到层级再到模块级的多层次整合策略：
频域分离融合
基础方案：结合小波变换与 CNN+Transformer 结构（如 Wavelet-Transformer），先分解图像再分工处理；
进阶探索：采用非下采样 Contourlet 变换（NSCT）更好地表征线条与曲线奇异特征，或在频域引入注意力机制，动态调节 CNN 与 Transformer 的处理权重；
适用场景：遥感影像、医学图像等纹理丰富且噪声分布不均的应用领域。
层级特征融合
基础方案：使用 CNN 编码器提取局部结构信息，配合 Transformer 解码器建模全局上下文，并通过跳跃连接维持细节传递；
进阶探索：借鉴 TBSN 中的 DTAB 设计，在编码阶段插入“卷积块 + Transformer 块”的混合单元，促进多尺度特征交互；
适用场景：适用于无配对数据的自监督去噪任务，尤其在缺乏干净标签时更具鲁棒性。
模块级混合设计
基础方案：交替堆叠卷积模块与 Transformer 模块（例如 ConvNeXt + Swin Transformer），实现局部与全局处理的交替增强；
进阶探索：在移动影像 ISP 流程中实施“插桩式融合”，在 RAW 域使用轻量 Transformer 进行噪声估计，在 YUV 域交由 CNN 完成细节修复，与传统 BNR/MFNR 模块无缝协作；
适用场景：满足移动端实时去噪需求，支持 4K30 或 1080p60 视频流的高效处理。
3. 未来发展趋势：轻量化与泛化能力双突破
下一阶段的技术竞争将聚焦于两个关键维度：
- 轻量化优化：通过稀疏注意力机制、深度可分离卷积以及知识蒸馏（如 TBSN→UNet）压缩模型规模；工程层面可采用“Tile 推理 + 重叠融合”策略应对高分辨率图像的显存压力，设置 16–32px 的重叠区域以消除拼接边界伪影；
- 泛化能力强化：结合自监督学习框架（如 SPEND 的“轴向自置换”策略），无需依赖干净标签即可训练，适应空间相关、光谱特异等非独立噪声类型；进一步引入物理先验（如传感器噪声模型、成像链路参数），提升在真实复杂环境中的适应性；
- 跨模态迁移潜力：将“频域融合 + 自监督 + 轻量化”范式拓展至高光谱成像、受激拉曼散射（SRS）化学成像、活细胞动态成像等领域，解决特定行业的噪声挑战。
实践落地指南：从理论到应用的决策参考
1. 技术选型建议：基于应用场景的架构匹配
| 核心诉求 | 推荐架构组合 | 关键优化点 |
|---|---|---|
| 移动端 / 实时性（<30ms） | 轻量 CNN + Transformer 蒸馏模型 | 知识蒸馏、INT8 量化、Tile 推理 |
| 医学影像 / 细节保真 | U-Net + 频域融合（小波 / NSCT）+ Transformer | 强化跳跃连接、引入感知损失等细节优化项 |
| 真实场景盲去噪 | 自监督 Transformer（TBSN/SPEND）+ CNN | 融合物理先验、优化注意力掩码策略 |
| 视频时域去噪 | CNN 运动补偿 + Transformer 全局建模 | 控制缓存延迟、使用滑动窗口注意力机制 |
2. 创新突破口：三个尚未充分开发的研究方向
- 非独立噪声建模：当前多数方法假设噪声为独立同分布，但现实中噪声常具空间相关性和光谱结构性。未来需构建能刻画此类复杂统计特性的模型，结合自监督学习与物理驱动先验进行联合建模；
现有方法通常假设噪声服从独立同分布，这一前提在实际应用中存在局限。可借鉴 SPEND 框架的思想，针对具有空间相关性和光谱特异性的噪声，设计“物理启发式自监督”策略，特别适用于高光谱成像（hyperspectral）和受激拉曼散射（SRS）成像等复杂场景；
在多模态噪声联合抑制方面，可融合红外与可见光图像的互补特性，利用 Transformer 建模跨模态的全局依赖关系，同时采用 CNN 提取单模态中的局部细节特征，有效应对低光照与遮挡共存所引发的混合噪声问题；
针对 ISP 链路的协同优化，应避免简单地以端到端黑盒方式替换传统流程。建议采用“插桩增强”思路：在 RAW 域使用 AI 进行噪声估计，在 YUV 域引入语义感知去噪机制（如对肤色、天空区域进行差异化处理），并与 Sharpen、ToneMap 等模块联合调优，实现整体画质提升；
工程落地：关键避坑策略与优化技巧
数据层面：优先采集真实场景下的噪声数据，例如不同 ISO 设置下的手机 RAW 图像或医学设备输出的原始影像。结合“合成噪声数据扩充 + 真实噪声微调”的训练范式，显著增强模型泛化能力；
训练策略：采用“残差学习”结构并引入频域损失函数（如 MSE 结合高频分量的 L1 损失），防止图像过度平滑；在自监督训练中，应用盲点约束（如 TBSN）或像素置换策略（如 SPEND），确保网络学习到有效的去噪映射；
部署适配：面向 NPU 硬件部署时，优先选用硬件支持的算子类型，例如使用 GroupConv 或 Depthwise Convolution 替代标准卷积以提升效率；控制 Transformer 的注意力窗口大小（如 8×8）以降低计算开销；同时保留原生 ISP 回退机制，用于应对极端成像条件。
结语：范式的融合而非替代
Transformer 的兴起，并非意在终结 CNN 的应用历史，而是推动图像去噪从“单一架构主导”迈向“多元架构融合”的新阶段。CNN 体现了基于先验知识的高效建模能力，而 Transformer 展现了基于数据驱动的全局建模优势，二者结合能够有效弥补各自的不足。
对开发者而言，未来的技术创新不再局限于“选 CNN 还是 Transformer”，而应聚焦于：
- 从具体应用场景出发，明确核心需求——是追求速度、精度，还是细节还原；
- 从前沿研究中汲取模块化灵感，例如 TBSN 中的注意力掩码机制，或 SPEND 提出的自置换训练策略；
- 以工程落地为导向反向约束算法设计，关注轻量化、系统兼容性与模型可解释性。
技术演进的魅力，从来不在于某一种方法彻底取代另一种，而是在不同思路的碰撞与融合中，催生出更贴近实际需求的解决方案——这正是当前图像去噪新范式的核心价值所在。
京公网安备 11010802022788号
