[论文解读] Multiview Boosting by Controlling the Diversity and the Accuracy of View-specific Voters

Anil Goyal, Emilie Morvant+2 more|arXiv (Cornell University)|Aug 16, 2018

Internet Traffic Analysis and Secure E-voting参考文献 56被引用 10

一句话总结

该论文提出PB-MVBoost，一种新颖的多视角提升算法，通过PAC-Bayesian框架联合优化视角特定投票者权重与视角层级权重。通过最小化平衡准确率与多样性性的多视角C-界，该方法在多视角分类任务中实现最先进性能，在MNIST与RCV1数据集上优于现有的融合方法。

ABSTRACT

In this paper we propose a boosting based multiview learning algorithm, referred to as PB-MVBoost, which iteratively learns i) weights over view-specific voters capturing view-specific information; and ii) weights over views by optimizing a PAC-Bayes multiview C-Bound that takes into account the accuracy of view-specific classifiers and the diversity between the views. We derive a generalization bound for this strategy following the PAC-Bayes theory which is a suitable tool to deal with models expressed as weighted combination over a set of voters. Different experiments on three publicly available datasets show the efficiency of the proposed approach with respect to state-of-art models.

研究动机与目标

• 解决多视角学习中结合多个视角时准确率与视角间多样性之间的平衡挑战。
• 将PAC-Bayesian理论扩展至具有视角特定投票者与视角两级先验和后验的多视角设置。
• 开发一种基于提升的算法，通过迭代学习视角特定投票者与视角的最优权重，以最小化与泛化界感知误差估计相关的损失。
• 在标准基准数据集上，通过实证验证所提方法相较于最先进多视角学习模型的性能。

提出的方法

• 该方法采用两级层次化贝叶斯结构：对视角特定投票者（Q_v）和视角（ρ）建立先验与后验，通过超先验（π）与超后验（ρ）对视角层级重要性进行建模。
• 构建一个多视角多数投票分类器，其中预测结果由视角特定后验与视角层级后验加权，实现对准确率与多样性的联合优化。
• 该算法最小化泛化误差的上界，即多视角C-界，该界明确权衡了视角特定分类器的准确率与视角间的多样性。
• 为两级模型推导出PAC-Bayesian泛化界，为集成分类器性能提供理论保证。
• 学习过程遵循类似提升的迭代策略：在每次迭代中，基于当前视角的性能更新视角特定投票者权重，同时通过最小化多视角C-界来更新视角层级权重。
• 该方法利用Jensen不等式与KL散度对期望损失进行界定，使在PAC-Bayesian框架内实现可处理的优化。

实验结果

研究问题

• RQ1 能否有效将PAC-Bayesian框架扩展至多于两个视角的多视角学习设置，同时纳入视角特定与视角层级的不确定性？
• RQ2 如何利用理论基础坚实的泛化界，形式化优化多视角学习中的准确率与多样性权衡？
• RQ3 通过提升策略联合学习视角特定投票者权重与视角层级权重，是否能相比标准融合方法带来更好的泛化性能与性能表现？
• RQ4 所提出的PB-MVBoost算法在训练过程中多大程度上最小化了多视角C-界？该最小化过程与测试准确率之间有何相关性？
• RQ5 PB-MVBoost在性能上与现有最先进多视角学习模型相比如何，特别是在数据不平衡设置下？

主要发现

• PB-MVBoost在迭代过程中实证表明有效最小化了多视角C-界，表明对准确率-多样性权衡的优化有效。
• 在MNIST 1与MNIST 2数据集上，PB-MVBoost的分类准确率优于Fusion_all^Cq基线方法，证明其在多视角学习中的有效性。
• 在RCV1/RCV2数据集上，PB-MVBoost优于Fusion_all^Cq方法，尤其在处理类别不平衡问题时表现更优，显示出对数据分布偏移的鲁棒性。
• 该算法通过利用PAC-Bayesian界保持了强大的泛化性能，为观察到的性能提升提供了理论依据。
• 两级层次化结构使对视角特定与视角间信息的控制更加精细，从而产生更可靠、更准确的集成预测。