[论文解读] On the Identifiability of Nonlinear ICA: Sparsity and Beyond

Yujia Zheng, Ignavier Ng+1 more|arXiv (Cornell University)|Jun 15, 2022

Blind Source Separation Techniques被引用 6

一句话总结

该论文通过在混合过程中施加结构稀疏性，首次在无条件先验下建立了非线性 ICA 的可识别性结果，实现了在无辅助变量的情况下，对潜变量源进行恢复，且恢复结果仅在排列和分量可逆变换下唯一。该方法即使在欠完备设置下也具有可识别性，并可扩展至高斯 ICA，而后者此前被认为在边缘独立条件下无法求解。

ABSTRACT

Nonlinear independent component analysis (ICA) aims to recover the underlying independent latent sources from their observable nonlinear mixtures. How to make the nonlinear ICA model identifiable up to certain trivial indeterminacies is a long-standing problem in unsupervised learning. Recent breakthroughs reformulate the standard independence assumption of sources as conditional independence given some auxiliary variables (e.g., class labels and/or domain/time indexes) as weak supervision or inductive bias. However, nonlinear ICA with unconditional priors cannot benefit from such developments. We explore an alternative path and consider only assumptions on the mixing process, such as Structural Sparsity. We show that under specific instantiations of such constraints, the independent latent sources can be identified from their nonlinear mixtures up to a permutation and a component-wise transformation, thus achieving nontrivial identifiability of nonlinear ICA without auxiliary variables. We provide estimation methods and validate the theoretical results experimentally. The results on image data suggest that our conditions may hold in a number of practical data generating processes.

研究动机与目标

• 解决长期以来在无条件先验下非线性 ICA 的可识别性问题，即在无辅助变量可用的情况下。
• 克服先前方法依赖于给定辅助变量（如类别标签、时间索引）的条件独立性假设的局限性。
• 仅基于对混合过程的假设（特别是结构稀疏性），建立非线性 ICA 的理论可识别性。
• 将可识别性框架扩展至欠完备情形（观测变量数量多于源变量数量），该情形此前在现有条件下难以处理。
• 证明结构稀疏性可解决高斯 ICA 中的旋转不确定性，而该问题此前被认为在边缘独立条件下不可识别。

提出的方法

• 在混合函数的雅可比矩阵上引入结构稀疏性假设，限制源变量到观测变量的活跃连接数量。
• 证明在该稀疏性条件下，真实潜变量源可被识别，识别结果仅在排列和分量可逆变换下唯一。
• 基于稀疏性正则化设计估计方法，在学习过程中强制实施结构约束。
• 将可识别性框架扩展至欠完备情形，即观测变量数量超过源变量数量的情形。
• 利用稀疏性约束消除高斯 ICA 中的旋转不确定性，使原本被认为不可能实现可识别性的模型得以识别。
• 通过图像数据验证理论结论，表明该稀疏性条件在实际数据生成过程中合理成立。

实验结果

研究问题

• RQ1 在无条件先验下，非线性 ICA 是否可在不依赖辅助变量的情况下实现可识别性？
• RQ2 混合过程中的结构稀疏性是否可实现对潜变量源的可识别性，识别结果仅在排列和分量可逆变换下唯一？
• RQ3 所提出的框架是否可在欠完备设置下识别源变量，即观测变量数量多于源变量数量的情形？
• RQ4 结构稀疏性是否足以解决高斯 ICA 中的旋转不确定性，而该问题此前被认为在边缘独立条件下不可识别？
• RQ5 所提出的稀疏性条件在真实世界数据（如图像数据集）中是否具有经验有效性？

主要发现

• 本文证明，在混合函数雅可比矩阵具有结构稀疏性时，无条件先验下的非线性 ICA 可被识别，识别结果仅在排列和分量可逆变换下唯一。
• 该可识别性结果即使在欠完备情形下依然成立，即观测变量数量多于源变量数量，而该情形此前未被现有可识别性条件覆盖。
• 结构稀疏性消除了高斯 ICA 中的旋转不确定性，使原本被认为在边缘独立条件下不可识别的一类模型实现了可识别性。
• 在图像数据上的实证验证表明，结构稀疏性条件在实际数据生成过程中合理成立。
• 实验结果表明，所提出方法在一致恢复潜变量源方面表现良好，验证了理论框架的实际可行性。
• 结果表明，混合过程中的稀疏性可作为无监督表征学习中有效的归纳偏置，且无需依赖辅助监督信号。