[论文解读] Zero-Shot Learning by Harnessing Adversarial Samples

Zhi Chen, Pengfei Zhang+3 more|arXiv (Cornell University)|Aug 1, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

本文提出了一种名为Harnessing Adversarial Samples（HAS）的新颖零样本学习（ZSL）方法，通过生成语义保持的对抗性增强数据来提升泛化能力，同时避免语义失真。通过施加基于属性条件的、潜在空间约束的以及多样化的扰动，HAS在CUB、FGVCAircraft和Stanford Cars数据集上，在标准ZSL和广义ZSL设置下均达到了最先进性能。

ABSTRACT

Zero-Shot Learning (ZSL) aims to recognize unseen classes by generalizing the knowledge, i.e., visual and semantic relationships, obtained from seen classes, where image augmentation techniques are commonly applied to improve the generalization ability of a model. However, this approach can also cause adverse effects on ZSL since the conventional augmentation techniques that solely depend on single-label supervision is not able to maintain semantic information and result in the semantic distortion issue consequently. In other words, image argumentation may falsify the semantic (e.g., attribute) information of an image. To take the advantage of image augmentations while mitigating the semantic distortion issue, we propose a novel ZSL approach by Harnessing Adversarial Samples (HAS). HAS advances ZSL through adversarial training which takes into account three crucial aspects: (1) robust generation by enforcing augmentations to be similar to negative classes, while maintaining correct labels, (2) reliable generation by introducing a latent space constraint to avert significant deviations from the original data manifold, and (3) diverse generation by incorporating attribute-based perturbation by adjusting images according to each semantic attribute's localization. Through comprehensive experiments on three prominent zero-shot benchmark datasets, we demonstrate the effectiveness of our adversarial samples approach in both ZSL and Generalized Zero-Shot Learning (GZSL) scenarios. Our source code is available at https://github.com/uqzhichen/HASZSL.

研究动机与目标

• 解决传统图像增强技术在不保留属性级语义的情况下改变像素值所导致的语义失真问题。
• 通过利用生成多样化、鲁棒且语义一致的数据增强的对抗性训练，提升ZSL中的模型泛化能力。
• 通过将扰动基于局部属性进行条件化并约束于数据流形内，保持数据增强过程中的语义一致性。
• 通过聚焦于与语义属性最相关的区域来生成扰动，实现更精确的属性定位与预测。
• 在标准和广义零样本学习场景中，证明对抗性样本相较于传统增强方法的优越性。

提出的方法

• 采用对抗性训练生成与属性监督语义对齐的扰动，确保图像变化不扭曲语义含义。
• 施加潜在空间约束，使对抗性样本保持在原始数据流形附近，防止因大幅偏离而破坏语义学习。
• 通过将对抗性噪声基于特定语义属性的空间定位进行条件化，引入基于属性的扰动，提升相关性与多样性。
• 将前景和背景扰动分离，实现对物体区域的针对性操作，同时最小化对背景上下文的干扰。
• 训练模型在对抗性扰动下仍能保持正确的属性预测，确保鲁棒性与语义保真度。
• 将基于属性条件的生成与对抗性损失相结合，生成既多样化又忠实于语义监督的增强数据。

实验结果

研究问题

• RQ1 对抗性样本能否被有效利用以在保持语义完整性的同时提升零样本学习的泛化能力？
• RQ2 如何调整对抗性训练以在ZSL的数据增强过程中保持属性级语义？
• RQ3 对抗性数据生成是否能优于传统图像增强技术，从而减少ZSL中的语义失真？
• RQ4 对抗性扰动能在多大程度上提升零样本学习中的属性定位与预测准确率？
• RQ5 所提出的方法能否在不同ZSL基准和设置（包括广义零样本学习）中实现良好泛化？

主要发现

• 所提出的HAS方法在三个主要零样本学习基准数据集（CUB、FGVCAircraft和Stanford Cars）上达到了最先进性能。
• 在CUB数据集上，HAS在ZSL设置下达到58.7%的准确率，在GZSL设置下达到48.9%的准确率，优于所有先前方法。
• 消融实验表明，鲁棒性、可靠性和多样性生成三个组件均对性能提升有显著贡献。
• 注意力图可视化显示，模型聚焦于正确的属性相关区域，证实了局部化扰动带来的定位能力提升。
• 扰动分析表明，对抗性噪声主要应用于前景物体，对背景影响极小，有效保留了语义上下文。
• 该方法有效缓解了语义失真：与传统增强方法不同，它避免了错误的属性预测，保持了属性空间中的清晰分离。