[论文解读] ONRW: Optimizing inversion noise for high-quality and robust watermark

Xuan Ding, Xiu Yan+2 more|arXiv (Cornell University)|Jan 24, 2026

Advanced Steganography and Watermarking Techniques被引用 0

一句话总结

ONRW 通过在扩散模型中优化反演噪声并结合自注意力约束与伪遮罩，嵌入水印，获得高视觉质量以及对图像变换与攻击的强鲁棒性。

ABSTRACT

Watermarking methods have always been effective means of protecting intellectual property, yet they face significant challenges. Although existing deep learning-based watermarking systems can hide watermarks in images with minimal impact on image quality, they often lack robustness when encountering image corruptions during transmission, which undermines their practical application value. To this end, we propose a high-quality and robust watermark framework based on the diffusion model. Our method first converts the clean image into inversion noise through a null-text optimization process, and after optimizing the inversion noise in the latent space, it produces a high-quality watermarked image through an iterative denoising process of the diffusion model. The iterative denoising process serves as a powerful purification mechanism, ensuring both the visual quality of the watermarked image and enhancing the robustness of the watermark against various corruptions. To prevent the optimizing of inversion noise from distorting the original semantics of the image, we specifically introduced self-attention constraints and pseudo-mask strategies. Extensive experimental results demonstrate the superior performance of our method against various image corruptions. In particular, our method outperforms the stable signature method by an average of 10\% across 12 different image transformations on COCO datasets. Our codes are available at https://github.com/920927/ONRW.

研究动机与目标

• 为 AI 生成内容提供鲁棒水印以保护知识产权的动力与动机。
• 提出一个基于扩散模型的框架，通过反演噪声优化在不重新训练的情况下嵌入水印。
• 确保水印的不可察觉性以及对常见和刻意的图像畸变具备鲁棒性。

提出的方法

• 将干净图像通过 Stable Diffusion 的空文本反演转换为反演噪声。
• 在潜在空间中优化反演噪声以在扩散去噪过程中嵌入水印信息。
• 应用自注意力约束以保持图像结构，并使用伪掩模将水印限制在前景区域。
• 在训练中加入一个仿真攻击层以提升水印对变换和重建的鲁棒性。
• 使用一个损失函数，该损失将解码水印准确度、自注意力一致性与图像保真度结合起来（L = alpha L_decoded + beta L_self-attention + gamma L_mse）。
• 除了预训练的扩散和解码器组件外，不需要额外的训练。

实验结果

研究问题

• RQ1 水印信息是否能够通过扩散模型中的优化反演噪声无视觉可见地嵌入图像？
• RQ2 自注意力约束和伪遮罩是否能提升扩散基础水印的视觉质量和鲁棒性？
• RQ3 所提出的 ONRW 水印在一系列图像变化和压缩攻击下的鲁棒性如何？
• RQ4 在训练阶段集成仿真攻击层是否能在不重新训练模型权重的情况下提升水印韧性？

主要发现

数据集	攻击	Dwt-Dct	Dwt-Dct-Svd	SSL Watermark	HiDDeN	RivaGAN	Stable Signature	Ours
COCO	None	0.93	0.99	0.99	0.99	0.84	0.99	0.99
COCO	Crop_01	0.49	0.50	0.53	0.88	0.61	0.92	0.99
COCO	Crop_05	0.53	0.52	0.83	0.97	0.76	0.99	0.99
COCO	Rot_25	0.47	0.51	0.91	0.61	0.61	0.64	0.93
COCO	Rot_90	0.63	0.53	0.97	0.58	0.52	0.51	0.94
COCO	Resize_0.3	0.48	0.99	0.99	0.54	0.58	0.65	0.96
COCO	Resize_0.7	0.72	0.99	0.99	0.87	0.79	0.96	0.99
COCO	Brightness_1.5	0.39	0.46	0.63	0.99	0.53	0.98	0.99
COCO	Brightness_2.0	0.64	0.50	0.56	0.98	0.45	0.96	0.98
COCO	JPEG_80	0.44	0.52	0.73	0.93	0.56	0.90	0.97
COCO	JPEG_50	0.42	0.51	0.59	0.83	0.51	0.84	0.89
COCO	Noise	0.49	0.53	0.99	0.99	0.60	0.99	0.98
COCO	Filter	0.53	0.98	0.99	0.69	0.81	0.90	0.91
COCO	Average	0.55	0.66	0.82	0.83	0.63	0.86	0.96
ImageNet	None	0.86	0.99	0.99	0.99	0.78	0.99	0.99
ImageNet	Crop_01	0.51	0.50	0.59	0.87	0.61	0.91	0.98
ImageNet	Crop_05	0.51	0.53	0.80	0.97	0.72	0.98	0.99
ImageNet	Rot_25	0.51	0.51	0.85	0.61	0.58	0.64	0.90
ImageNet	Rot_90	0.49	0.54	0.92	0.58	0.52	0.50	0.91
ImageNet	Resize_0.3	0.57	0.98	0.66	0.54	0.58	0.63	0.98
ImageNet	Resize_0.7	0.73	0.99	0.87	0.86	0.73	0.95	0.99
ImageNet	Brightness_1.5	0.41	0.45	0.92	0.98	0.53	0.97	0.98
ImageNet	Brightness_2.0	0.49	0.50	0.83	0.97	0.49	0.95	0.96
ImageNet	JPEG_80	0.50	0.52	0.85	0.91	0.56	0.88	0.96
ImageNet	JPEG_50	0.51	0.51	0.66	0.80	0.53	0.82	0.88
ImageNet	Noise	0.47	0.53	0.91	0.97	0.60	0.98	0.96
ImageNet	Filter	0.60	0.96	0.98	0.69	0.74	0.88	0.91
ImageNet	Average	0.55	0.65	0.83	0.83	0.61	0.85	0.95

• 在 COCO 数据集的12种图像变换下，ONRW 的平均性能比 Stable Signature 高出约10%。
• 定性与定量结果显示在各种失真下具有高图像质量与鲁棒水印提取性。
• 在 None 条件下，PSNR/SSIM 指标显示有竞争力的图像保真度，COCO 数据集下达到 PSNR 27.11、SSIM 0.88（相较于竞争方法）。
• 在鲁棒性测试中，COCO 平均比特准确率在典型几何与光度编辑下均超过 0.95。
• 与后生成方法相比，ONRW 在压缩与重建攻击下仍保持更高的水印提取准确性。
• 消融研究证实仿真攻击层和空文本优化在平衡质量与鲁棒性方面的重要性。