[论文解读] WDNet: Watermark-Decomposition Network for Visible Watermark Removal

Yang Liu, Zhen Zhu+1 more|arXiv (Cornell University)|Dec 14, 2020

Advanced Steganography and Watermarking Techniques参考文献 26被引用 4

一句话总结

WDNet 是一种两阶段深度学习框架，通过先定位并粗略估计水印及其透明度，再利用轻量级优化网络对结果进行细化，从而实现对可见水印的分解。该方法在水印去除与分离任务中达到当前最优性能，并通过使用分离出的水印进行数据增强，提升了模型泛化能力，其有效性已在包含 200 种彩色水印的新数据集 CLWD 上得到验证。

ABSTRACT

Visible watermarks are widely-used in images to protect copyright ownership. Analyzing watermark removal helps to reinforce the anti-attack techniques in an adversarial way. Current removal methods normally leverage image-to-image translation techniques. Nevertheless, the uncertainty of the size, shape, color and transparency of the watermarks set a huge barrier for these methods. To combat this, we combine traditional watermarked image decomposition into a two-stage generator, called Watermark-Decomposition Network (WDNet), where the first stage predicts a rough decomposition from the whole watermarked image and the second stage specifically centers on the watermarked area to refine the removal results. The decomposition formulation enables WDNet to separate watermarks from the images rather than simply removing them. We further show that these separated watermarks can serve as extra nutrients for building a larger training dataset and further improving removal performance. Besides, we construct a large-scale dataset named CLWD, which mainly contains colored watermarks, to fill the vacuum of colored watermark removal dataset. Extensive experiments on the public gray-scale dataset LVW and CLWD consistently show that the proposed WDNet outperforms the state-of-the-art approaches both in accuracy and efficiency. The code and CLWD dataset are publicly available at https://github.com/MRUIL/WDNet.

研究动机与目标

• 为解决现有水印去除方法缺乏水印分离能力以及对多样化水印风格泛化能力不足的问题。
• 开发一种深度学习模型，能够同时实现水印的去除与显式分解，从而实现分离出的水印在训练数据增强中的复用。
• 构建一个大规模、多样化的数据集（CLWD），包含 200 种彩色水印，以弥补真实世界彩色水印训练数据的缺失。
• 在保证高去除准确率和高效推理的同时，避免后处理步骤，实现高性能。
• 通过利用分离出的水印对训练数据进行增强，提升模型泛化能力。

提出的方法

• WDNet 采用两阶段生成器：第一阶段使用 U-Net 主干网络预测粗略水印及其透明度，实现初始水印去除图像的分解。
• 利用第一阶段的输出，通过逆图像合成公式重建初步的无水印图像。
• 第二阶段采用由残差块组成的轻量级 Refinement 网络，对初始输出进行像素级细化，聚焦于局部细节优化。
• 两阶段网络联合训练，无需后处理，确保端到端优化。
• 模型利用从未见图像中分离出的水印，用于合成新的训练样本，实现数据增强。
• 构建了一个新的大规模数据集 CLWD，包含 200 种彩色水印，以支持在更真实、更多样化的水印模式下进行训练与评估。

实验结果

研究问题

• RQ1 深度学习模型能否在无需后处理的情况下，有效分解图像中的可见水印并实现高质量去除？
• RQ2 从未见图像中分离出的水印能否被有效复用于数据增强，从而提升模型泛化能力？
• RQ3 一种先定位水印再细化结果的两阶段架构，是否优于端到端图像到图像翻译的水印去除方法？
• RQ4 在多样化彩色水印数据集（CLWD）上训练的水印去除模型，与在仅灰度图数据集（LVW）上训练的模型相比，性能如何？
• RQ5 水印分离在多大程度上增强了水印去除模型的鲁棒性与泛化能力？

主要发现

• WDNet 在 LVW 和 CLWD 两个数据集上均达到当前最优性能，在 PSNR、SSIM 和 LPIPS 等主要指标上全面超越先前方法。
• 模型展现出卓越的泛化能力，尤其在跨数据集评估中表现突出，即使在不同分布的数据集上测试（如 LVW → CLWD 和 CLWD → LVW），仍保持强劲性能。
• 利用 CLWD-60 分离出的水印对 CLWD-100 的训练数据进行增强，带来了可测量的性能提升，证实了水印分离在数据增强中的有效性。
• WDNet 的推理速度优于大多数 SOTA 方法，仅慢于 Li et al. [16]，表明其在准确率与效率之间取得了良好平衡。
• CLWD 数据集包含比 LVW 更多样、更具代表性的水印模式，这一点从从 LVW 到 CLWD 的迁移性能差距更大可得验证。
• 视觉结果表明，WDNet 输出的图像在结构一致性上最接近真实图像，且成功分离出可复用于训练的水印。