[论文解读] Rethinking Skip Connections: Additive U-Net for Robust and Interpretable Denoising

Vikram R Lakkavalli|arXiv (Cornell University)|Jan 19, 2026

Image and Signal Denoising Methods被引用 0

一句话总结

论文引入 Additive U-Net，用门控加法跳过连接替代拼接跳过连接并采用减法编码，实现对 Kodak-17 降噪的竞争性表现，且跨尺度贡献具有可解释性。

ABSTRACT

Skip connections are central to U-Net architectures for image denoising, but standard concatenation doubles channel dimensionality and obscures information flow, allowing uncontrolled noise transfer. We propose the Additive U-Net, which replaces concatenative skips with gated additive connections. Each skip pathway is scaled by a learnable non-negative scalar, offering explicit and interpretable control over encoder contributions while avoiding channel inflation. Evaluations on the Kodak-17 denoising benchmark show that Additive U-Net achieves competitive PSNR/SSIM at noise levels σ = 15, 25, 50, with robustness across kernel schedules and depths. Notably, effective denoising is achieved even without explicit down/up-sampling or forced hierarchies, as the model naturally learns a progression from high-frequency to band-pass to low-frequency features. These results position additive skips as a lightweight and interpretable alternative to concatenation, enabling both efficient design and a clearer understanding of multi-scale information transfer in reconstruction networks.

研究动机与目标

• 重新审视降噪网络中跨尺度信息流动的方式，并解决标准跳过连接导致的通道膨胀与噪声渗透问题。
• 提出一个轻量、可解释的编码-解码器设计，在每个跳过连接上设定标量门控以控制跨尺度贡献。
• 在高斯噪声下 Demonstrate Kodak-17 降噪的竞争性性能，同时实现对特征融合的可解释性。

提出的方法

• 在 U-Net 中用门控的加法连接替代拼接跳过连接，其中每个跳过跳过连接被一个可学习的非负系数 alpha_j 缩放。
• 在编码器中使用减法编码以缓存残留跳过特征，以在解码器中实现引导融合（方程 2）。
• 保持恒定的通道宽度以避免通道膨胀，且省略下采样/上采样。
• 使用 Charbonnier 损失进行训练，并在 AWGN 的 sigma ∈ {15,25,50} 下评估 PSNR/SSIM。
• 探索核 schedules 与深度（如 3-3-3-3-3、5-5-5-5-5、9-7-5-3-1），并与基线如 DnCNN 和伪加法 U-Net 进行对比。
• 提供频域分析与门控分析以解释信息如何在跨尺度流动。

实验结果

研究问题

• RQ1 加法、门控跳过连接是否能够在降噪网络中提供可解释且可控的跨尺度信息流？
• RQ2 加法跳过是否在不造成通道膨胀或下/上采样的情况下提供有竞争力的降噪性能？
• RQ3 学习到的跳过权重如何与网络在深度上的频率导向特征演进相关？
• RQ4 在 Kodak-17 降噪上保持轻量化、且具有清晰可解释性的前提下，是否可以达到与标准基线相匹配的性能？
• RQ5 不同核 schedules 与深度对加法跳过降噪性能有何影响？

主要发现

• Additive U-Net 在不同噪声水平 sigma=15、25、50 下对 Kodak-17 的 PSNR/SSIM 具有竞争力。
• 学习到的跳过权重提供可解释的贡献，峰值性能接近学习值时最优。
• 频率分析显示在无需显式多尺度设计的情况下，出现从高频到低频特征的演进。
• 不进行下采样/上采样的模型在不产生分辨率偏差的同时保持降噪效果。
• 不同的核 schedules 显示细节保留与全局清洁度之间的权衡。
• 真实的 Additive U-Net 的定性结果相比 DnCNN 和伪加法基线具有更清晰的边缘和更少的噪声渗漏。