[论文解读] Unsupervised Submodular Rank Aggregation on Score-based Permutations

Jun Qi, Liu, Xu+2 more|arXiv (Cornell University)|Jul 4, 2017

Rough Sets and Fuzzy Logic参考文献 16被引用 3

一句话总结

本论文提出了一种基于洛瓦兹Bregman（LB）散度的无监督子模排序聚合框架，用于基于分数的排列，通过凸性和嵌套结构优化，整合来自多个来源的排序结果。该方法在自动语音识别中实现了最先进性能，将音素错误率降低至18.1%——相比基线Adaboost方法提升了1.2个百分点——通过有效聚合无真实标签的分布式神经网络输出实现。

ABSTRACT

Unsupervised rank aggregation on score-based permutations, which is widely used in many applications, has not been deeply explored yet. This work studies the use of submodular optimization for rank aggregation on score-based permutations in an unsupervised way. Specifically, we propose an unsupervised approach based on the Lovasz Bregman divergence for setting up linear structured convex and nested structured concave objective functions. In addition, stochastic optimization methods are applied in the training process and efficient algorithms for inference can be guaranteed. The experimental results from Information Retrieval, Combining Distributed Neural Networks, Influencers in Social Networks, and Distributed Automatic Speech Recognition tasks demonstrate the effectiveness of the proposed methods.

研究动机与目标

• 解决缺乏针对基于分数的排列（即排序由数值分数表示而非相对顺序）的无监督排序聚合方法的问题。
• 通过将洛瓦兹Bregman散度形式化为基于分数排列的凸目标函数，弥合子模优化与无监督排序聚合之间的差距。
• 为分布式深度学习和信息检索等大规模应用，开发高效的推理与随机优化算法。
• 通过嵌套结构化建模，证明其在性能上优于线性与现有基线方法。
• 实现可扩展的、无需标签的多模型输出聚合，尤其适用于相关分数获取昂贵或不可能的场景。

提出的方法

• 将洛瓦兹Bregman（LB）散度形式化为效用函数，用于衡量基于分数的排列与基于顺序的共识之间的差异，利用子模函数及其洛瓦兹扩展。
• 基于LB散度构建线性结构凸优化目标函数，以最小化聚合分数与共识排序之间的差异。
• 引入嵌套结构凹优化框架，以建模聚合过程中的层次依赖关系，提升表示能力。
• 应用随机优化技术以扩展训练过程，实现在大规模、分布式模型输出上的高效学习。
• 使用最小化-最大化（MMAX）算法，迭代逼近非凸嵌套公式的解，同时保持收敛性保证。
• 通过输入分数向量与子模函数梯度差的内积定义目标函数：$ d_{ ilde{f}}( extbf{x}||oldsymbol{ heta}) = extbf{x}^ op (h_{oldsymbol{ heta}}^f - h_{oldsymbol{ heta}}^f) $，其中 $ h $ 表示子模函数增量向量。

实验结果

研究问题

• RQ1 洛瓦兹Bregman散度能否有效适配于基于分数的排列的无监督排序聚合，其中输入为数值分数而非相对顺序？
• RQ2 所提出的线性结构凸公式相较于现有无监督聚合方法（如平均法或ULARA）在性能与可扩展性方面表现如何？
• RQ3 在自动语音识别等实际应用中，嵌套结构凹公式是否能显著优于线性与基线方法？
• RQ4 该方法在包含数千个排列和高维输出的大规模数据集上，其可扩展性如何？
• RQ5 模型架构深度对嵌套结构LB散度公式的性能有何影响？更深的结构是否可被有效优化？

主要发现

• 嵌套结构LB散度公式在TIMIT数据集上实现了18.1%的音素错误率（PER），优于Adaboost基线（18.3%）及其他所有测试方法。
• 与Adaboost基线相比，PER降低了1.2个百分点，显著提升了分布式自动语音识别的性能。
• 线性结构公式实现了18.7%的PER，优于平均法（20.1%）和ULARA（19.5%），但劣于嵌套结构公式。
• 该方法在结合8个分布式DNN输出的语音识别任务中实现了最先进性能，验证了其在实际应用中的有效性。
• 由于计算复杂度低且随机优化高效，该方法展现出良好的可扩展性，支持在大规模数据集上进行弱监督训练。
• 嵌套结构带来的性能增益归因于对聚合过程中层次依赖关系的更好建模，尽管由于数据中强制对齐偏差，增益边际改善有限。