[论文解读] Multi-View Learning over Structured and Non-Identical Outputs

Kuzman Ganchev, Joäo Graça+2 more|arXiv (Cornell University)|Jun 13, 2012

Topic Modeling参考文献 25被引用 60

一句话总结

该论文提出了一种基于视图间随机一致性作为正则化项的多视图概率学习算法，以提升在结构化且非相同输出上的泛化能力。通过最小化视图模型之间的巴氏距离（Bhattacharyya distance），该方法在平坦分类和结构化分类任务上优于CoBoosting和两视图感知机（two-view Perceptron），尤其在部分一致设置下表现更优。

ABSTRACT

In many machine learning problems, labeled training data is limited but unlabeled data is ample. Some of these problems have instances that can be factored into multiple views, each of which is nearly sufficent in determining the correct labels. In this paper we present a new algorithm for probabilistic multi-view learning which uses the idea of stochastic agreement between views as regularization. Our algorithm works on structured and unstructured problems and easily generalizes to partial agreement scenarios. For the full agreement case, our algorithm minimizes the Bhattacharyya distance between the models of each view, and performs better than CoBoosting and two-view Perceptron on several flat and structured classification problems.

研究动机与目标

• 通过利用同一数据的多个视图来解决机器学习中标签数据有限的挑战。
• 开发一种即使在输出结构不完全对齐或相同的情况下也能有效结合视图的方法。
• 将多视图学习推广至输出非平坦或非相同结构的结构化预测问题。
• 引入基于视图间随机一致性的正则化机制，以提升模型的鲁棒性和泛化能力。
• 扩展现有多视图算法，以处理部分一致性和非相同输出空间的情况。

提出的方法

• 该方法采用概率框架，对每个视图的输出预测分布进行建模。
• 引入随机一致性作为正则化项，促使视图在概率意义上达成一致。
• 核心优化目标是最小化不同视图预测分布之间的巴氏距离（Bhattacharyya distance）。
• 该算法可处理结构化输出和非结构化输出，包括序列标注和多分类任务。
• 在视图对所有样本不完全一致的场景下，该方法能自然推广至部分一致情形。
• 通过一种迭代算法实现，交替进行视图特定模型更新与一致性正则化。

实验结果

研究问题

• RQ1 如何有效将多视图学习扩展到结构化且非相同输出空间？
• RQ2 视图间的随机一致性能否作为多视图学习中稳健的正则化机制？
• RQ3 与CoBoosting和两视图感知机等现有方法相比，所提方法表现如何？
• RQ4 该方法能否推广至视图不完全一致的部分一致场景？
• RQ5 最小化视图模型之间的巴氏距离是否能提升结构化预测任务的泛化性能？

主要发现

• 所提算法在多个平坦分类和结构化分类任务上优于CoBoosting和两视图感知机（two-view Perceptron）。
• 通过最小化视图模型之间的巴氏距离（Bhattacharyya distance），实现了更优性能，该方法强制实现了概率一致性。
• 该方法在部分一致设置下表现出色，即视图在所有样本上不完全一致。
• 该算法适用于结构化输出（如序列）和非结构化输出（如多分类标签）。
• 实验结果表明，在多种基准数据集上均取得一致性能提升，尤其在低资源数据场景下表现突出。
• 该方法在异构输出空间的多视图学习中展现出良好的鲁棒性与可扩展性。