[论文解读] The Incomplete Rosetta Stone Problem: Identifiability Results for Multi-View Nonlinear ICA

Luigi Gresele, Paul K. Rubenstein+3 more|arXiv (Cornell University)|May 16, 2019

Blind Source Separation Techniques参考文献 35被引用 6

一句话总结

本文通过证明在存在多个充分多样的噪声视图时，任意非线性混合的独立潜在源可以唯一恢复，建立了多视图非线性独立分量分析（ICA）的可识别性。利用对比学习和视图多样性的结构假设，作者证明了深度神经网络理论上可以无限制地逆转混合过程，无需对源分布或混合函数施加任何限制。

ABSTRACT

We consider the problem of recovering a common latent source with independent components from multiple views. This applies to settings in which a variable is measured with multiple experimental modalities, and where the goal is to synthesize the disparate measurements into a single unified representation. We consider the case that the observed views are a nonlinear mixing of component-wise corruptions of the sources. When the views are considered separately, this reduces to nonlinear Independent Component Analysis (ICA) for which it is provably impossible to undo the mixing. We present novel identifiability proofs that this is possible when the multiple views are considered jointly, showing that the mixing can theoretically be undone using function approximators such as deep neural networks. In contrast to known identifiability results for nonlinear ICA, we prove that independent latent sources with arbitrary mixing can be recovered as long as multiple, sufficiently different noisy views are available.

研究动机与目标

• 解决在多个视图中源被非线性混合时，非线性 ICA 中可识别性的基本挑战。
• 通过利用同一潜在源的多个多样化视图，克服单视图非线性 ICA 已知的不可识别性问题。
• 建立理论条件，证明在联合分析多个视图的前提下，真实独立潜在源可被恢复至仿射变换程度。
• 提出一种新颖的可识别性框架，该框架不依赖于源分布假设或受限的混合函数类别。
• 证明视图多样性——通过条件分布约束进行量化——即使在任意非线性混合下，也能实现对共同潜在源的恢复。

提出的方法

• 构建一个多视图生成模型，其中每个视图是同一独立潜在源的任意光滑、可逆变换。
• 对多个视图的联合分布应用对比学习，将共同源的恢复视为一个自监督表示学习问题。
• 引入一个视图给定另一个视图的条件分布的结构约束，以确保视图之间的充分多样性。
• 证明在这些多样性约束下，可通过类似深度神经网络的函数逼近器，将潜在源恢复至仿射变换程度。
• 利用残差函数 $ R_{m{e},i} $ 在 $ m{s} $ 上为常数的性质，推导出逆混合函数必须彼此为仿射组合。
• 建立所有视图特定的解混函数 $ m{e}_i $ 必须共享相同的线性变换 $ m{eta} $，从而确保源恢复的全局一致性。

实验结果

研究问题

• RQ1 当仅能获得同一源的多个噪声、非线性混合视图时，非线性 ICA 是否可实现可识别性？
• RQ2 对视图的何种结构假设足以确保潜在独立源的可识别性？
• RQ3 视图多样性——通过条件分布约束进行度量——是否能在任意非线性混合下实现真实潜在源的恢复？
• RQ4 对比学习是否可用于在多视图非线性 ICA 设置中证明可识别性，而无需假设源非高斯性或后非线性结构？
• RQ5 是否仅通过多个视图的联合分布，无需观测父变量或额外的条件变量，即可实现潜在源至仿射变换程度的恢复？

主要发现

• 本文证明，即使对源分布或混合函数无任何限制，具有任意非线性混合的独立潜在源也可从多个充分多样的视图中恢复。
• 在给定视图的条件分布足够多样的前提下可实现可识别性，该条件作为结构约束，使恢复成为可能。
• 作者表明，所有解混函数 $ m{e}_i $ 必须是逆混合函数 $ m{k}_i^{-1} $ 的仿射变换，且共享 $ m{eta} $ 和 $ m{eta}_i $，从而确保视图间的一致性。
• 残差函数 $ R_{m{e},i} $ 必须在 $ m{s} $ 上为常数，由此可推导出 $ m{e}_i imes m{k}_i $ 为仿射形式，从而实现源的理论恢复。
• 该证明依赖于对视图上经验平均的收敛性，表明平均混合矩阵 $ m{eta} $ 和偏移 $ m{eta} $ 必须在所有视图中相同，否则将导致矛盾。
• 该结果建立了一套新的多视图非线性 ICA 可识别性框架，该框架不依赖于源非高斯性或混合函数形式的假设，而是依赖于视图多样性。