[论文解读] Understanding Latent Correlation-Based Multiview Learning and Self-Supervision: An Identifiability Perspective

Qi Lyu, Xiao Fu+2 more|arXiv (Cornell University)|Jun 14, 2021

Neural Networks and Applications被引用 8

一句话总结

本文通过将视图建模为共享成分与私有成分的非线性混合，为多视图表示学习中的潜在相关性最大化提供了理论基础。证明了相关性最大化可识别出共享成分（至可逆变换），并通过适当的正则化，也能解缠私有成分——为自监督学习与多视图学习提供了一个具有理论依据的方法，并进行了有限样本分析。

ABSTRACT

Multiple views of data, both naturally acquired (e.g., image and audio) and artificially produced (e.g., via adding different noise to data samples), have proven useful in enhancing representation learning. Natural views are often handled by multiview analysis tools, e.g., (deep) canonical correlation analysis [(D)CCA], while the artificial ones are frequently used in self-supervised learning (SSL) paradigms, e.g., BYOL and Barlow Twins. Both types of approaches often involve learning neural feature extractors such that the embeddings of data exhibit high cross-view correlations. Although intuitive, the effectiveness of correlation-based neural embedding is mostly empirically validated. This work aims to understand latent correlation maximization-based deep multiview learning from a latent component identification viewpoint. An intuitive generative model of multiview data is adopted, where the views are different nonlinear mixtures of shared and private components. Since the shared components are view/distortion-invariant, representing the data using such components is believed to reveal the identity of the samples effectively and robustly. Under this model, latent correlation maximization is shown to guarantee the extraction of the shared components across views (up to certain ambiguities). In addition, it is further shown that the private information in each view can be provably disentangled from the shared using proper regularization design. A finite sample analysis, which has been rare in nonlinear mixture identifiability study, is also presented. The theoretical results and newly designed regularization are tested on a series of tasks.

研究动机与目标

• 理解为何多视图学习中的潜在相关性最大化能有效捕捉视图不变且揭示身份的表示。
• 在非线性生成模型下，正式证明通过相关性最大化可识别共享成分（至可逆变换）。
• 证明通过适当的正则化，可将私有成分与共享成分明确解缠。
• 为非线性混合可辨识性提供有限样本分析，填补了先前无监督学习理论中的空白。
• 将所提出的框架与对比自监督学习联系起来，并通过松弛变量正则化实现实际应用。

提出的方法

• 提出一种生成模型，其中视图是非线性混合的共享与私有潜在成分，混合过程为可逆且各成分间相互独立。
• 使用潜在相关性最大化（通过共享表示匹配）识别共享成分（至可逆变换）。
• 提出基于松弛变量的正则化方案，以在共享表示中强制高熵，从而实现私有成分的解缠。
• 采用有限样本分析，在现实数据约束下建立可辨识性，扩展了先前ICA研究中仅基于无限样本假设的结论。
• 通过使用InfoNCE风格的对比损失与共享嵌入、松弛变量上的熵正则化，重新表述目标函数，以处理具有不同生成函数的多个视图。
• 将理论洞见应用于设计统一框架，从可辨识性视角统一连接DCCA、AM-SSL与对比学习。

实验结果

研究问题

• RQ1 在非线性生成模型下，多视图学习中的潜在相关性最大化能否可证明地识别出数据的共享、视图不变成分？
• RQ2 在基于相关性的学习中，通过何种正则化条件可将私有成分与共享成分解缠？
• RQ3 如何在非线性多视图表示学习中建立有限样本可辨识性，尤其是在对比学习与自监督学习设置中？
• RQ4 相关性最大化与对比自监督学习之间存在何种联系？如何为具有不同数据生成过程的多视图形式化这一联系？
• RQ5 所提出的理论框架能否通过松弛变量与熵正则化在实践中实现，以稳定学习并提升解缠效果？

主要发现

• 在所提出的生成模型下，若混合过程可逆且成分相互独立，潜在相关性最大化可识别出各视图中真实的共享成分（至可逆变换）。
• 通过适当的正则化，每个视图中的私有成分可被可证明地从共享表示中解缠，从而支持跨视图生成等任务。
• 有限样本分析表明，可辨识性在现实数据约束下依然成立，解决了先前非线性ICA理论中的关键局限。
• 该框架通过基于InfoNCE的目标函数与松弛变量连接到对比自监督学习，可应用于具有不同生成函数的多个视图。
• 实证验证表明，所提出的正则化方法显著提升了解缠效果，并在聚类、跨视图翻译与生成任务中提升了性能。
• 理论分析表明，最大化共享表示的熵可防止平凡解，确保共享成分的非退化识别。