[论文解读] Subsampled Turbulence Removal Network

Wai Ho Chak, Chun Pong Lau+1 more|arXiv (Cornell University)|Jul 12, 2018

Advanced Image Processing Techniques被引用 11

一句话总结

本文提出了一种子采样湍流去除网络（TRN），一种基于WGAN的深度学习模型，采用多帧输入和ℓ₁损失，用于恢复因大气湍流而退化的视频序列。通过使用一种新颖的数据增强方法模拟真实湍流，并结合子采样策略筛选高质量帧，TRN即使在真实训练数据有限的情况下也能显著提升恢复性能，在PSNR和SSIM指标上达到最先进水平。

ABSTRACT

We present a deep-learning approach to restore a sequence of turbulence-distorted video frames from turbulent deformations and space-time varying blurs. Instead of requiring a massive training sample size in deep networks, we purpose a training strategy that is based on a new data augmentation method to model turbulence from a relatively small dataset. Then we introduce a subsampled method to enhance the restoration performance of the presented GAN model. The contributions of the paper is threefold: first, we introduce a simple but effective data augmentation algorithm to model the turbulence in real life for training in the deep network; Second, we firstly purpose the Wasserstein GAN combined with $\ell_1$ cost for successful restoration of turbulence-corrupted video sequence; Third, we combine the subsampling algorithm to filter out strongly corrupted frames to generate a video sequence with better quality.

研究动机与目标

• 为解决因大气湍流导致严重几何失真和时空变化模糊而退化的视频序列恢复挑战。
• 通过提出一种有效的数据增强方法，合成生成多样化的湍流效应，以克服真实湍流退化训练数据稀缺的问题。
• 通过将子采样策略整合到训练好的生成对抗网络模型中，筛选出受污染程度较低的帧，从而提升输出质量，改善恢复性能。
• 开发一种深度学习框架，可同时去除几何失真和模糊，而无需依赖湍流的显式物理模型。
• 证明基于GAN的方法在湍流影响的视频序列中联合去模糊与几何校正的可行性和有效性。

提出的方法

• 该方法采用带有多帧输入的Wasserstein GAN（WGAN），利用视频帧间的时序一致性以提升恢复效果。
• 提出一种新颖的数据增强算法，通过在干净图像上施加随机且真实的形变与模糊，生成合成湍流，有效扩展了训练数据集。
• 网络使用ℓ₁损失函数以保留结构细节并增强恢复图像的特征保真度。
• 在推理阶段应用子采样机制，过滤掉高度失真的帧，仅将最清晰、受污染程度最低的帧作为网络输入。
• 训练策略依赖于少量真实数据，并通过合成生成的湍流进行数据增强，从而减少对大规模真实湍流数据的依赖。
• 模型被训练为将一组退化帧映射为单张高质量、去模糊且几何校正后的输出图像。

实验结果

研究问题

• RQ1 深度学习模型能否在无需大量真实训练数据的情况下，有效恢复因大气湍流而退化的视频序列？
• RQ2 如何利用数据增强技术模拟真实湍流效应（如几何失真和时空变化模糊）以用于训练？
• RQ3 在推理阶段引入子采样策略是否能提升湍流去除网络中恢复图像的质量？
• RQ4 具有多帧输入和ℓ₁损失的WGAN是否能在抑制几何失真和模糊方面优于现有方法？
• RQ5 与SGL和IRIS等最先进方法相比，所提方法在减少伪影和保留图像细节方面达到何种程度的提升？

主要发现

• 所提出的TRN模型在所有对比方法中取得最高PSNR和SSIM得分，在'building 3'序列上达到24.7 dB PSNR和0.836 SSIM。
• TRN在视觉质量和定量指标上均优于SGL和IRIS方法，表现出更少的模糊和几何失真。
• 在真实湍流序列中，采用子采样的TRN相比不采用子采样的结果更加清晰，证实了子采样策略的有效性。
• 数据增强方法能从单张干净图像成功生成多样且逼真的湍流效应，使在极少真实数据下实现有效训练成为可能。
• WGAN结合多帧输入与ℓ₁损失相比标准GAN，能实现更稳定的训练过程并更好地保留图像细节。
• 子采样方法通过仅选择受污染程度最低的帧，显著提升了恢复性能，减少了最终输出中的噪声与失真。