[论文解读] Towards Robust Data Hiding Against (JPEG) Compression: A Pseudo-Differentiable Deep Learning Approach

Chaoning Zhang, Adil Karjauv+2 more|arXiv (Cornell University)|Dec 30, 2020

Advanced Steganography and Watermarking Techniques参考文献 19被引用 11

一句话总结

本文提出了一种伪可微分深度学习框架，实现了对JPEG、JPEG2000、WebP以及MPEG和XVID等视频编解码器的有损压缩的端到端训练，且具有鲁棒性。通过引入一种可微分的伪噪声路径，使梯度能够流动，而无需对不可微分的压缩操作进行反向传播，该方法在无需白盒知识或复杂压缩步骤模拟的情况下，实现了在多种压缩标准下的最先进（SOTA）误码率（BER）性能。

ABSTRACT

Data hiding is one widely used approach for protecting authentication and ownership. Most multimedia content like images and videos are transmitted or saved in the compressed form. This kind of lossy compression, such as JPEG, can destroy the hidden data, which raises the need of robust data hiding. It is still an open challenge to achieve the goal of data hiding that can be against these compressions. Recently, deep learning has shown large success in data hiding, while non-differentiability of JPEG makes it challenging to train a deep pipeline for improving robustness against lossy compression. The existing SOTA approaches replace the non-differentiable parts with differentiable modules that perform similar operations. Multiple limitations exist: (a) large engineering effort; (b) requiring a white-box knowledge of compression attacks; (c) only works for simple compression like JPEG. In this work, we propose a simple yet effective approach to address all the above limitations at once. Beyond JPEG, our approach has been shown to improve robustness against various image and video lossy compression algorithms.

研究动机与目标

• 为解决在不可微分有损压缩（如JPEG）下训练深度学习数据隐藏模型的挑战。
• 消除对工程密集型、针对JPEG的可微分近似方法的需求。
• 在无需了解压缩过程内部机制的前提下，实现对多种有损压缩标准（包括JPEG2000、WebP和视频编解码器）的鲁棒数据隐藏。
• 开发一种统一、即插即用的方法，将不可微分的压缩操作视为黑箱，简化对新或复杂压缩算法的适应。

提出的方法

• 该方法在前向传播过程中引入一条伪噪声路径，模拟噪声效果，但仅允许通过压缩图像路径计算梯度。
• 在反向传播过程中，仅从压缩图像计算梯度，绕过不可微分的JPEG操作，从而实现端到端训练。
• 前向传播包括对压缩图像添加和减去伪噪声，该操作对输出值无影响，但可实现通过噪声路径的梯度流动。
• 该方法将任何不可微分的压缩操作视为黑箱，仅需执行前向传播，无需逆向工程其内部机制。
• 该框架使用标准反向传播进行端到端训练，其关键创新在于将梯度流动与压缩操作解耦。
• 该方法具有通用性，适用于JPEG、JPEG2000、WebP、MPEG和XVID，且无需架构修改。

实验结果

研究问题

• RQ1 当压缩操作不可微分（如JPEG）时，是否可以对基于深度学习的数据隐藏模型实现端到端训练？
• RQ2 是否可以使用单一训练框架在无需针对压缩的可微分近似的情况下，实现对多种有损压缩标准（包括JPEG2000和WebP）的鲁棒性？
• RQ3 伪可微分方法是否优于依赖用可微函数近似JPEG压缩的现有方法？
• RQ4 所提出的方法是否可以无需架构修改地扩展到MPEG和XVID等视频压缩编解码器？
• RQ5 是否可以训练一个模型，使其同时对多种压缩类型（如JPEG、JPEG2000、WebP和视频编解码器）具有鲁棒性？

主要发现

• 在JPEG-90上，所提方法实现了12.00%的BER，优于先前的SOTA方法（13.81%），并在所有质量因子下显著降低了误码率。
• 在JPEG2000上，该方法在质量因子900时实现了0.03%的BER，表明即使在高阶压缩水平下也具有鲁棒性。
• 在WebP上，该方法在质量因子90时实现了12.14%的BER，表现出在不同图像压缩格式下的稳定性能。
• 在视频压缩方面，该方法在MPEG4上实现了8.45%的BER，在XVID上实现了13.59%的BER，显著优于随机猜测（50%）。
• 当同时训练以应对多种压缩类型时，该方法保持了较低的失真，秘密图像与恢复图像之间的平均像素差异为8.54/255。
• 该方法是首个在无需白盒访问或复杂压缩模拟的情况下，实现对多种有损压缩标准（包括JPEG2000和WebP）的端到端鲁棒数据隐藏的方法。