[论文解读] Symmetry-Based Disentangled Representation Learning requires Interaction with Environments

Hugo Caselles-Dupré, Garcia-Ortiz, Michael+1 more|City Research Online (City University London)|Mar 30, 2019

Advanced Graph Neural Networks参考文献 17被引用 15

一句话总结

本文主张对称性驱动的解耦表征学习（SBDRL）在本质上需要与环境互动，而不仅仅是依赖静态观测，才能发现并表征对称性。本文提出了两种基于互动的方法——分别或联合学习表征与对称性效应——并通过实证结果表明，LSB-和SB-解耦表征显著提升了下游逆模型学习的性能，尤其在数据量和模型容量受限的情况下。

ABSTRACT

Finding a generally accepted formal definition of a disentangled representation in the context of an agent behaving in an environment is an important challenge towards the construction of data-efficient autonomous agents. Higgins et al. recently proposed Symmetry-Based Disentangled Representation Learning, a definition based on a characterization of symmetries in the environment using group theory. We build on their work and make observations, theoretical and empirical, that lead us to argue that Symmetry-Based Disentangled Representation Learning cannot only be based on static observations: agents should interact with the environment to discover its symmetries. Our experiments can be reproduced in Colab and the code is available on GitHub.

研究动机与目标

• 确立对称性驱动的解耦表征学习（SBDRL）无法仅通过静态观测实现，而必须依赖与环境的互动。
• 形式化并实证验证两种实用方法，利用环境过渡学习线性和非线性SB-解耦表征。
• 在数据量和模型容量受限条件下，评估（L）SB-解耦表征在下游任务中的效用，特别是逆模型学习任务。
• 证明互动不仅是有益的，而且是SBDRL所必需的，该结论在具有循环边界条件的受控2D环境中通过理论证明和实证验证。
• 通过Colab和GitHub提供开源实现与可复现实验，以支持未来在解耦表征学习领域的研究。

提出的方法

• 提出理论证明（定理1）：在所研究的环境中，LSB-解耦表征需要至少4个维度，尽管世界状态仅可用2个维度描述，这是由于必须线性表示对称性。
• 提出两种实用方法：(1) 使用前向VAE分别学习表征与对称性效应；(2) 通过CCI-VAE变体联合学习，两者均基于过渡数据 $(o_t, a_t, o_{t+1})$ 训练。
• 利用群论正式定义对称性为使某些世界属性保持不变的变换，并将其应用于具有可移动智能体的2D循环网格世界。
• 通过在10,000次过渡上训练随机森林分类器来评估表征在下游逆模型任务中的表现，分类器基于表征空间中的状态转移进行训练。
• 比较四种模型：LSB-解耦表征（4维）、SB-解耦表征（2维）、非解耦表征（2维）以及SB-解耦表征（4维）作为对照，采用10折交叉验证。
• 采用简单且可解析定义的环境以确保形式正确性与可复现性，代码与Colab笔记本已公开发布。

实验结果

研究问题

• RQ1 能否仅通过静态观测实现对称性驱动的解耦表征学习（SBDRL），还是与环境互动是必需的？
• RQ2 在对称且具有循环特性的2D环境中，线性SB-解耦表征的最小维度是多少？为何这一结果出人意料？
• RQ3 能否设计出实用方法，利用环境过渡而非静态观测来学习（L）SB-解耦表征？
• RQ4 使用（L）SB-解耦表征如何影响下游任务（如逆模型学习）的性能？
• RQ5 在数据量和模型容量受限时，哪种类型的解耦表征——LSB或SB——能为高效学习提供更强的归纳偏置？

主要发现

• 理论分析证明，在所研究的2D循环环境中，线性SB-解耦表征至少需要4个维度，尽管世界状态仅是2维的。
• 实证结果表明，LSB-解耦表征与SB-解耦表征在逆模型学习任务中均优于非解耦基线模型，尤其在数据量或分类器容量受限时表现更优。
• 在固定高容量分类器条件下，LSB-解耦表征达到最高最终准确率，表明其在强归纳偏置下具有更优的泛化能力。
• 在固定大规模数据集但分类器容量受限时，SB-解耦表征表现最佳，表明其更具数据效率，且更易于从少量数据中学习。
• 使用过渡数据 $(o_t, a_t, o_{t+1})$ 而非静态观测 $o_t$ 是学习对称性的关键，验证了互动对SBDRL的必要性。
• 本研究通过Colab和开源代码提供了可复现的实验，使未来研究者能够验证并拓展关于解耦与下游任务性能的发现。