[论文解读] Multi-View Learning in the Presence of View Disagreement

C. Mario Christoudias, Raquel Urtasun+1 more|arXiv (Cornell University)|Jun 13, 2012

Sparse and Compressive Sensing Techniques参考文献 21被引用 96

一句话总结

本文提出了一种多视角学习框架，通过条件熵准则检测并过滤因噪声、遮挡或损坏导致的视角不一致样本。在应用标准多视角学习之前移除冲突视角，该方法在合成数据集和音视频数据集上显著提升了性能，展示了在真实世界噪声场景下的鲁棒性。

ABSTRACT

Traditional multi-view learning approaches suffer in the presence of view disagreement,i.e., when samples in each view do not belong to the same class due to view corruption, occlusion or other noise processes. In this paper we present a multi-view learning approach that uses a conditional entropy criterion to detect view disagreement. Once detected, samples with view disagreement are filtered and standard multi-view learning methods can be successfully applied to the remaining samples. Experimental evaluation on synthetic and audio-visual databases demonstrates that the detection and filtering of view disagreement considerably increases the performance of traditional multi-view learning approaches.

研究动机与目标

• 解决传统多视角学习方法在视角因噪声、遮挡或损坏而产生不一致时的局限性。
• 识别不同视角为同一样本分配冲突标签的样本，表明可能存在数据损坏或噪声。
• 开发一种过滤机制，在应用标准多视角学习前移除此类冲突样本。
• 提升多视角学习在存在不完美或噪声视角的真实世界场景中的准确率和鲁棒性。
• 证明过滤视角不一致可显著提升标准多视角学习方法的性能。

提出的方法

• 通过测量同一样本在不同视角之间的一致性，制定条件熵准则以检测视角不一致。
• 使用一个视角给定另一个视角的条件熵来量化不一致程度：条件熵越高，表示不一致程度越大。
• 过滤掉条件熵较高的样本，假设其为损坏或含噪声的样本。
• 仅在过滤后的、一致的样本上应用标准多视角学习算法（例如，协同训练、多视角SVM）。
• 利用多个来源视角保持一致的假设，认为其更可能正确。
• 通过在合成数据集和真实世界音视频数据集上的实证评估验证过滤过程。

实验结果

研究问题

• RQ1 由噪声或遮挡引起的视角不一致如何影响传统多视角学习方法的性能？
• RQ2 条件熵能否有效检测出视角不一致的样本？
• RQ3 过滤掉高视角不一致的样本是否能提升多视角学习算法的性能？
• RQ4 所提出方法在不同类型的数据损坏和噪声水平下具有多强的鲁棒性？
• RQ5 在真实世界音视频识别任务中，该方法相较于标准多视角学习方法的性能优势有多大？

主要发现

• 条件熵准则能有效识别出因噪声或遮挡导致的视角不一致样本。
• 过滤掉条件熵较高的样本可显著提升多视角学习任务的性能。
• 在音视频数据库上，所提方法通过减少因视角不一致导致的错误率，优于标准多视角学习方法。
• 该方法在多种噪声条件下表现出鲁棒性，包括模拟损坏和真实世界遮挡。
• 在视角不一致程度较高的数据集中，性能提升最为显著，证实了该方法在噪声环境下的有效性。
• 在合成数据和真实世界数据上的实证结果表明，移除冲突视角可提升学习准确率和泛化能力。