[论文解读] Nonlinear ICA Using Auxiliary Variables and Generalized Contrastive Learning

Aapo Hyvärinen, Hiroaki Sasaki+1 more|arXiv (Cornell University)|May 22, 2018

Blind Source Separation Techniques参考文献 25被引用 41

一句话总结

本文提出一个使用辅助变量来诱导可辨识性的通用非线性ICA框架，并且经验性验证了基于对比学习的估计量，该估计量能够恢复潜在成分。

ABSTRACT

Nonlinear ICA is a fundamental problem for unsupervised representation learning, emphasizing the capacity to recover the underlying latent variables generating the data (i.e., identifiability). Recently, the very first identifiability proofs for nonlinear ICA have been proposed, leveraging the temporal structure of the independent components. Here, we propose a general framework for nonlinear ICA, which, as a special case, can make use of temporal structure. It is based on augmenting the data by an auxiliary variable, such as the time index, the history of the time series, or any other available information. We propose to learn nonlinear ICA by discriminating between true augmented data, or data in which the auxiliary variable has been randomized. This enables the framework to be implemented algorithmically through logistic regression, possibly in a neural network. We provide a comprehensive proof of the identifiability of the model as well as the consistency of our estimation method. The approach not only provides a general theoretical framework combining and generalizing previously proposed nonlinear ICA models and algorithms, but also brings practical advantages.

研究动机与目标

• 通过引入一个调制分量分布的辅助变量，统一并扩展非线性ICA的可辨识性条件。
• 提供一个基于对比（逻辑回归）判别真实数据与随机增强数据之间的实际可学习算法。
• 证明估计量的一致性，并在广泛条件下建立可辨识性。
• 展示时间、历史和类别标签如何作为辅助变量来恢复潜在源。

提出的方法

• 定义一个非线性ICA模型，其中潜在成分 s_i 依赖于观测到的辅助变量 u，并且在给定 u 时条件独立。
• 通过用 (x,u) 与 (x,u*) 增强数据来构造两个数据集，其中 u* 已随机化，并训练一个非线性逻辑回归来区分它们。
• 使用带有隐藏表示 h_i(x) 和特征映射 psi_i 的回归函数 r(x,u) 来估计后验概率。
• 在正则性条件下证明估计量的一致性，并推导一般及条件指数分布源族的可辨识性结果。
• 展示不同的 u 定义（时间、历史、片段、类别标签）如何适应该框架，并与 TCL、PCL 及相关方法相关联。

实验结果

研究问题

• RQ1 辅助变量 u 是否能够使一般非线性混合中的非线性ICA具备可辨识性？
• RQ2 提出的增强对比学习方法的确切可辨识性和一致性条件是什么？
• RQ3 不同的辅助变量选择（时间、历史、非平稳片段、类别标签）如何影响可辨识性以及潜在源的实际恢复？
• RQ4 基于逻辑回归的估计量在理论下是否能在可逆的逐分量变换之上恢复独立分量？
• RQ5 该框架如何关联并推广先前的非线性ICA方法，如 TCL 和 PCL？

主要发现

• 带有辅助变量的一般非线性 ICA 模型在温和的光滑性与变动性条件下实现可辨识性。
• 通过对比学习，从增强真实数据与随机增强之间的判别中获得一个实际、且一致的估计量。
• 该框架将时间对比学习（TCL）和置换对比学习（PCL）作为特例纳入并推广。
• 在条件指数情况下，理论得到与 TCL 相似的线性不确定性，而在一般情况下，成分可在逐分量可逆非线性变换下恢复。
• 使用类别标签作为辅助变量可以避免线性不确定性，并实现监督/无监督融合以恢复潜在源。
• 仿真实验表明对于非平稳和时间相关的源，其性能与 TCL 相当。