[论文解读] Protect, Show, Attend and Tell: Empowering Image Captioning Models with Ownership Protection

Jian Han Lim, Chee Seng Chan+3 more|arXiv (Cornell University)|Aug 25, 2020

Multimodal Machine Learning Applications参考文献 29被引用 4

一句话总结

本文提出了一种新颖的基于密钥的图像字幕模型所有权保护机制，通过将秘密密钥嵌入循环神经网络（RNN）的隐藏状态中，确保仅持有有效密钥的模型才能生成高质量的字幕。该方法在保持原始模型性能的同时，使伪造密钥无效，从而在MS-COCO和Flickr30k数据集上有效抵御移除攻击和模糊攻击。

ABSTRACT

By and large, existing Intellectual Property (IP) protection on deep neural networks typically i) focus on image classification task only, and ii) follow a standard digital watermarking framework that was conventionally used to protect the ownership of multimedia and video content. This paper demonstrates that the current digital watermarking framework is insufficient to protect image captioning tasks that are often regarded as one of the frontiers AI problems. As a remedy, this paper studies and proposes two different embedding schemes in the hidden memory state of a recurrent neural network to protect the image captioning model. From empirical points, we prove that a forged key will yield an unusable image captioning model, defeating the purpose of infringement. To the best of our knowledge, this work is the first to propose ownership protection on image captioning task. Also, extensive experiments show that the proposed method does not compromise the original image captioning performance on all common captioning metrics on Flickr30k and MS-COCO datasets, and at the same time it is able to withstand both removal and ambiguity attacks. Code is available at https://github.com/jianhanlim/ipr-imagecaptioning

研究动机与目标

• 为常被现有水印框架忽略的图像字幕模型缺乏知识产权（IP）保护的问题提供解决方案。
• 开发一种主动的、低成本且及时的知识产权保护机制，防止图像字幕模型被未经授权使用。
• 确保仅持有正确秘密密钥的模型才能生成高质量且语义准确的字幕，从而阻止侵权行为。
• 证明所提出的方法在使用有效密钥时，性能与原始模型几乎完全一致，而使用伪造密钥时性能显著下降。
• 建立首个已知的图像字幕领域知识产权保护解决方案，克服传统水印方法在图像分类任务中设计的局限性。

提出的方法

• 在训练期间，通过两种不同的嵌入方案，将唯一的秘密密钥嵌入基于RNN的图像字幕模型的隐藏记忆状态中。
• 修改RNN单元的隐藏状态计算方式，通过可学习变换将秘密密钥整合到模型的内部表征中，确保密钥深度嵌入。
• 在推理阶段使用签名验证机制，以验证正确密钥的存在，防止未经授权使用模型。
• 设计嵌入方式，使得任何伪造密钥都会破坏隐藏状态的动力学，导致生成语义不连贯或质量低下的字幕。
• 端到端训练模型，将密钥嵌入隐藏状态中，同时保持原始模型在标准字幕指标上的性能。
• 通过在多个基准测试中使用有效密钥和伪造密钥测试模型性能，评估其在密钥移除和模糊攻击下的鲁棒性。

实验结果

研究问题

• RQ1 嵌入在基于RNN的图像字幕模型隐藏记忆状态中的秘密密钥，能否有效防止未经授权的使用？
• RQ2 所提出的基于密钥的保护机制是否能保持原始模型在标准图像字幕指标上的性能？
• RQ3 该方法在攻击者试图提取或伪造秘密密钥的移除和模糊攻击下，效果如何？
• RQ4 该方法是否可泛化至不同的图像字幕架构，如Up-Down和SCST？
• RQ5 使用伪造密钥时的性能退化程度与原始模型及基于水印的方法相比如何？

主要发现

• 使用有效密钥时，所提方法在MS-COCO数据集上与原始模型性能几乎完全一致，CIDEr-D得分分别为101.93（Up-Down）和101.87（SCST）。
• 使用伪造密钥时，Up-Down模型的CIDEr-D得分下降17.27%（至84.33），SCST模型下降11.14%（至90.53），表明性能显著退化。
• 在Up-Down模型上，SPICE得分从19.90降至16.53，表明指代表达准确性显著下降。
• 与现有水印框架（如基于护照的水印）相比，该方法即使在攻击下也能生成更准确、更完整的字幕。
• 使用伪造密钥的模型生成语义不连贯或错误的字幕，有效使其无法用于实际应用。
• 该方法在MS-COCO和Flickr30k两个数据集上均表现出鲁棒性，证实其在不同图像字幕基准上的泛化能力。