[论文解读] Uncertainty-Aware Multi-View Representation Learning

Yu Geng, Zongbo Han+2 more|arXiv (Cornell University)|Jan 15, 2022

Domain Adaptation and Few-Shot Learning参考文献 27被引用 4

一句话总结

本文提出动态不确定性感知网络（DUA-Nets），一种新颖的无监督多视图表征学习框架，通过基于变分自编码器风格重建的样本特定不确定性估计，动态调整视图权重。通过将视图级不确定性建模为重建方差的副产品，DUA-Nets 自适应地抑制噪声视图并提升鲁棒性，在多个基准测试中实现最先进性能，展现出卓越的抗噪能力。

ABSTRACT

Learning from different data views by exploring the underlying complementary information among them can endow the representation with stronger expressive ability. However, high-dimensional features tend to contain noise, and furthermore, the quality of data usually varies for different samples (even for different views), i.e., one view may be informative for one sample but not the case for another. Therefore, it is quite challenging to integrate multi-view noisy data under unsupervised setting. Traditional multi-view methods either simply treat each view with equal importance or tune the weights of different views to fixed values, which are insufficient to capture the dynamic noise in multi-view data. In this work, we devise a novel unsupervised multi-view learning approach, termed as Dynamic Uncertainty-Aware Networks (DUA-Nets). Guided by the uncertainty of data estimated from the generation perspective, intrinsic information from multiple views is integrated to obtain noise-free representations. Under the help of uncertainty, DUA-Nets weigh each view of individual sample according to data quality so that the high-quality samples (or views) can be fully exploited while the effects from the noisy samples (or views) will be alleviated. Our model achieves superior performance in extensive experiments and shows the robustness to noisy data.

研究动机与目标

• 解决在无监督表征学习中，多视图数据在样本和视图之间存在不同噪声水平和质量差异的挑战。
• 开发一种方法，对每个样本自适应地赋予高质量视图更高的重要性，而非使用固定或相等的权重。
• 在无标签情况下，通过生成模型的重建方差，以自监督方式估计数据不确定性。
• 将不确定性估计与表征学习统一为一个端到端框架，实现两者的协同优化。

提出的方法

• DUA-Nets 使用反转网络（R-Nets）从共享潜在表征中重建每个视图，实现表征与不确定性联合学习。
• 对于每个视图，R-Net 输出高斯分布的均值和方差，其中方差作为该视图的不确定性估计。
• 在表征学习过程中，利用不确定性动态加权视图，使低不确定性（高质量）视图具有更大影响力。
• 模型联合优化重建损失与基于不确定性的加权策略，实现表征质量与不确定性估计的相互提升。
• 协作学习机制确保不确定性估计引导表征学习，反之亦然，从而增强鲁棒性。

实验结果

研究问题

• RQ1 能否通过重建方差的不确定性估计，有效指导多视图表征学习中的动态视图加权？
• RQ2 不确定性建模在无监督设置下如何提升对噪声视图的鲁棒性？
• RQ3 模型能否在无监督条件下，基于不确定性区分干净样本与噪声样本？
• RQ4 不确定性估计的集成如何影响学习表征的质量与泛化能力？

主要发现

• DUA-Nets 在聚类任务中优于未使用不确定性建模的标准 R-Nets，证明不确定性可提升表征质量。
• 当噪声强度增加时，该模型保持稳定性能，而基线 R-Nets 显著退化，表明其具有更优鲁棒性。
• 不确定性估计能有效捕捉数据质量差异：更高的噪声比例会导致不确定性增加，即使噪声是人为注入的。
• 即使 50% 的样本被噪声污染，模型的不确定性估计仍保持稳定且具有信息量，表明其具备强大泛化能力。
• 在潜在维度为 50 时达到最优性能，表明过低或过高的参数化均会降低性能。