[论文解读] Weakly Supervised Representation Learning with Sparse Perturbations

Kartik Ahuja, Jason Hartford+1 more|arXiv (Cornell University)|Jun 2, 2022

Domain Adaptation and Few-Shot Learning被引用 10

一句话总结

本文提出一种弱监督表征学习方法，通过稀疏扰动（仅每次改变少数潜在变量的动作）从像素级数据中识别解耦的潜在因子。证明当扰动作用于不相交或重叠的潜在变量块时，该方法可将潜在变量识别为仿射变换形式；若扰动块在单一变量处相交，则可将单个潜在变量识别为排列与缩放形式。

ABSTRACT

The theory of representation learning aims to build methods that provably invert the data generating process with minimal domain knowledge or any source of supervision. Most prior approaches require strong distributional assumptions on the latent variables and weak supervision (auxiliary information such as timestamps) to provide provable identification guarantees. In this work, we show that if one has weak supervision from observations generated by sparse perturbations of the latent variables--e.g. images in a reinforcement learning environment where actions move individual sprites--identification is achievable under unknown continuous latent distributions. We show that if the perturbations are applied only on mutually exclusive blocks of latents, we identify the latents up to those blocks. We also show that if these perturbation blocks overlap, we identify latents up to the smallest blocks shared across perturbations. Consequently, if there are blocks that intersect in one latent variable only, then such latents are identified up to permutation and scaling. We propose a natural estimation procedure based on this theory and illustrate it on low-dimensional synthetic and image-based experiments.

研究动机与目标

• 解决在潜在变量无强分布假设条件下，识别表征学习中解耦潜在因子的挑战。
• 通过引入稀疏扰动作为弱监督，克服独立同分布数据中的可识别性问题。
• 在最小假设下建立潜在变量的理论可识别性保证，替代强结构或分布约束。
• 基于理论框架开发一种实用的估计程序，适用于合成数据与图像数据。
• 证明重叠的扰动块比不相交的扰动块提供更强的识别能力，从而实现对单个潜在变量的排列与缩放形式恢复。

提出的方法

• 使用稀疏扰动——即仅在短时间内修改少数潜在变量的动作——作为弱监督，以推断潜在因子。
• 将数据生成过程建模为 X ← g(Z)，其中扰动仅在潜在变量 Z 的特定子集上引起变化。
• 证明当扰动作用于潜在变量的不相交块时，可实现仿射变换下的识别。
• 表明当扰动块重叠时识别能力更强：潜在变量可识别为最小相交块的仿射变换。
• 提出一种基于神经网络的估计程序，通过最小化潜在空间中预测扰动与实际扰动之间的损失函数。
• 通过将预测潜在变量回归至真实潜在变量来验证理论假设，利用斜率与截距分析评估对齐程度。

实验结果

研究问题

• RQ1 在无强分布假设条件下，潜在变量的稀疏扰动能否实现可证明的解耦表征识别？
• RQ2 扰动块结构（不相交 vs. 重叠）如何影响可实现的识别程度？
• RQ3 当扰动仅影响潜在变量子集时，识别的理论极限是什么？
• RQ4 若扰动块在单一潜在变量处相交，该方法能否将单个潜在变量识别为排列与缩放形式？
• RQ5 在合成数据与图像数据上，所提出的估计程序在实践中对真实潜在变量的恢复效果如何？

主要发现

• 当扰动影响潜在变量的不相交块时，该方法可将潜在变量识别为这些块的仿射变换形式。
• 当扰动块重叠时，该方法可将潜在变量识别为最小相交块的仿射变换形式。
• 若两个扰动块仅在单个潜在变量处相交，则该潜在变量可被识别为排列与缩放形式。
• 所提出的估计程序在低维合成实验中成功恢复了真实潜在变量，预测潜在变量与真实值高度对齐。
• 在图像实验中，即使扰动稀疏而视觉变化密集，该方法仍能准确预测潜在变量的移动，展现出对非稀疏视觉效应的鲁棒性。
• 实证结果表明，当预测扰动与真实变化匹配时，损失函数收敛至驻点，验证了理论分析。