[论文解读] Robust Data Hiding Using Inverse Gradient Attention

Honglei Zhang, Wang Hu+3 more|arXiv (Cornell University)|Nov 21, 2020

Advanced Steganography and Watermarking Techniques参考文献 30被引用 14

一句话总结

本文提出一种基于逆梯度注意力（IGA）的端到端深度数据隐藏模型，通过动态分配更高注意力权重给鲁棒性更强的像素以实现信息嵌入。通过计算每个像素对消息重建目标的梯度，IGA能够在不引入可学习参数的情况下识别出鲁棒的高频区域（如边缘），显著提升了在COCO和DIV2K数据集上最先进的鲁棒性与容量表现。

ABSTRACT

Data hiding is the procedure of encoding desired information into a certain types of cover media (e.g. images) to resist potential noises for data recovery, while ensuring the embedded image has few perceptual perturbations. Recently, with the tremendous successes gained by deep neural networks in various fields, the research on data hiding with deep learning models has attracted an increasing amount of attentions. In deep data hiding models, to maximize the encoding capacity, each pixel of the cover image ought to be treated differently since they have different sensitivities w.r.t. visual quality. The neglecting to consider the sensitivity of each pixel inevitably affects the model's robustness for information hiding. In this paper, we propose a novel deep data hiding scheme with Inverse Gradient Attention (IGA), combining the idea of attention mechanism to endow different attention weights for different pixels. Equipped with the proposed modules, the model can spotlight pixels with more robustness for data hiding. Extensive experiments demonstrate that the proposed model outperforms the mainstream deep learning based data hiding methods on two prevalent datasets under multiple evaluation metrics. Besides, we further identify and discuss the connections between the proposed inverse gradient attention and high-frequency regions within images, which can serve as an informative reference to the deep data hiding research community. The codes are available at: https://github.com/hongleizhang/IGA.

研究动机与目标

• 通过自适应像素级注意力机制以应对深度学习数据隐藏中鲁棒性、不可感知性与容量之间的权衡。
• 通过引入基于梯度的可解释注意力机制，克服现有模型中黑箱注意力机制的局限性。
• 通过识别并优先处理鲁棒像素，提升模型对常见失真（如JPEG、模糊、裁剪）的鲁棒性。
• 通过采用对称消息编码模块，将二进制消息映射到低维实值潜在空间，以在保持不可感知性的同时提升嵌入容量。
• 探究逆梯度注意力与高频图像区域（如边缘）之间的内在联系，以指导未来鲁棒数据隐藏设计。

提出的方法

• 提出一种可微分的、基于梯度的注意力机制——逆梯度注意力（IGA），用于计算每个像素对消息重建损失的梯度贡献。
• 利用逆梯度的幅值生成注意力掩码，突出显示对失真最不敏感、最适于信息嵌入的像素。
• 将IGA集成到端到端的编码器-解码器框架中，其中编码器通过注意力加权扰动将消息嵌入载体图像。
• 实现一种对称消息编码模块，将二进制消息映射到低维实值潜在空间，以提升容量与泛化能力。
• 将Sobel边缘检测作为基线方法进行比较，以验证IGA在识别高频鲁棒区域方面的有效性。
• 采用基于GAN的对抗性损失进行模型训练，以增强不可感知性，同时使用重建损失确保消息的准确恢复。

实验结果

研究问题

• RQ1 基于梯度的注意力机制是否能在不引入额外可学习参数的情况下提升深度数据隐藏的鲁棒性？
• RQ2 逆梯度注意力机制与高频图像区域（如边缘）之间存在何种关系？
• RQ3 通过IGA聚焦高频区域是否能优于启发式边缘检测方法（如Sobel）在数据隐藏任务中的表现？
• RQ4 所提出的IGA机制在JPEG压缩、模糊等常见图像失真下，能在多大程度上提升鲁棒性？
• RQ5 对称消息编码模块是否能有效提升嵌入容量，同时保持不可感知性？

主要发现

• 所提出的IGA模型在COCO和DIV2K数据集上均达到当前最优性能，在身份失真条件下，COCO数据集上的比特准确率为74.62%，DIV2K数据集上为62.26%。
• 消融实验证实，结合消息编码与注意力模块的模型表现最佳（COCO为74.62%，DIV2K为62.26%），显著优于基础模型（COCO为73.56%，DIV2K为58.04%）。
• 基于IGA的模型在性能上优于使用Sobel算子进行边缘检测的模型，表明基于梯度的注意力机制比固定边缘检测更具自适应性与有效性。
• 可视化结果表明，IGA掩码与高频区域（如边缘）具有强对齐性，证实鲁棒像素主要集中在高频区域。
• 该模型在多种失真下保持了高鲁棒性，在JPEG压缩与模糊等挑战性条件下，比特准确率始终高于50%。
• 实证结果支持假设：高频区域更适合用于数据隐藏，因其对视觉失真具有更强的鲁棒性，并且在深度神经网络决策中更受青睐。