[论文解读] Symmetry and Group in Attribute-Object Compositions

Yong–Lu Li, Yue Xu+2 more|arXiv (Cornell University)|Apr 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 39被引用 4

一句话总结

本文将对称性引入属性-对象组合的基本原则，提出一种受群论启发的SymNet框架，通过端到端训练强制实现对称性、封闭性、结合律、单位元和可逆性。该方法通过基于变换鲁棒性的相对移动距离（RMD）进行属性分类，而非依赖不稳定的视觉模式，在组合零样本学习任务中实现了最先进性能。

ABSTRACT

Attributes and objects can compose diverse compositions. To model the compositional nature of these general concepts, it is a good choice to learn them through transformations, such as coupling and decoupling. However, complex transformations need to satisfy specific principles to guarantee the rationality. In this paper, we first propose a previously ignored principle of attribute-object transformation: Symmetry. For example, coupling peeled-apple with attribute peeled should result in peeled-apple, and decoupling peeled from apple should still output apple. Incorporating the symmetry principle, a transformation framework inspired by group theory is built, i.e. SymNet. SymNet consists of two modules, Coupling Network and Decoupling Network. With the group axioms and symmetry property as objectives, we adopt Deep Neural Networks to implement SymNet and train it in an end-to-end paradigm. Moreover, we propose a Relative Moving Distance (RMD) based recognition method to utilize the attribute change instead of the attribute pattern itself to classify attributes. Our symmetry learning can be utilized for the Compositional Zero-Shot Learning task and outperforms the state-of-the-art on widely-used benchmarks. Code is available at https://github.com/DirtyHarryLYL/SymNet.

研究动机与目标

• 识别并形式化对称性作为属性-对象变换中此前被忽视的基本原则。
• 开发一个统一的深度学习框架，通过强制实施群公理与对称性，实现稳健的属性-对象组合。
• 通过利用潜在空间中的变换不变性与相对运动，提升组合零样本学习性能。
• 以稳健的属性变化动态替代对脆弱视觉属性模式的依赖，用于分类任务。

提出的方法

• SymNet采用两个子网络：用于添加属性的耦合网络（CoN）和用于移除属性的解耦网络（DecoN）。
• 通过端到端训练期间的专用损失函数，强制实施群公理——封闭性、结合律、单位元和可逆性。
• 对称性被嵌入为核心目标：向已具有该属性的对象添加该属性，或从不具有该属性的对象中移除该属性，均应使对象保持不变。
• 提出一种新颖的相对移动距离（RMD）度量，用于计算输入与变换后嵌入之间的距离，以推断属性的存在性。
• RMD机制通过比较“添加”和“移除”操作后的距离进行判断：若输出更接近输入，则表明该属性存在。
• 使用注意力机制增强特征表示，L2距离作为RMD计算的主要度量标准。

实验结果

研究问题

• RQ1 对称性能否被形式化为属性-对象组合中的基础性原则，以确保在冗余变换下保持不变？
• RQ2 如何将群论应用于设计一种可微分、端到端的深度学习框架，以实现属性-对象组合？
• RQ3 基于RMD的属性识别能否通过聚焦于变换动态而非视觉外观，超越传统基于模式的方法？
• RQ4 强制实施群公理与对称性在多大程度上提升了组合零样本学习中的泛化能力？
• RQ5 所提出的方法是否能在MIT-States和UT-Zappos等多样化基准上实现良好泛化？

主要发现

• SymNet在组合零样本学习基准上实现了最先进性能，在UT-Zappos上达到52.1%的top-1准确率，在MIT-States上达到19.9%。
• 移除对称性损失（L_sym）后，UT-Zappos上的top-1准确率下降1.6%，MIT-States上也下降1.6%，证实其关键作用。
• 消融实验表明，移除分类损失（L_cls）导致最严重性能下降，UT-Zappos上的top-1准确率降至28.7%，表明联合优化的重要性。
• 在RMD中使用L1或余弦距离替代L2距离会导致性能显著下降，L1在UT-Zappos上的top-1准确率降至37.5%。
• 通过t-SNE可视化确认，所学习的潜在空间中所有群公理——包括封闭性、可逆性及交换律——均得到良好满足。
• 对称性属性被稳健学习：具有该属性的对象在“添加”操作后移动极小，而在“移除”操作后移动显著；反之，不具有该属性的对象则表现相反。