[论文解读] Subset Labeled LDA for Large-Scale Multi-Label Classification

Yannis Papanikolaou, Grigorios Tsoumakas|arXiv (Cornell University)|Sep 16, 2017

Text and Document Classification Technologies参考文献 13被引用 4

一句话总结

本文提出子集标记LDA（Subset LLDA），一种可扩展的标记潜在狄利克雷分配（LLDA）变体，通过在推理过程中限制标签空间，提升了大规模多标签分类任务的效率与性能。该方法在小规模与大规模数据集上均达到最先进性能，优于以往的LLDA变体，并与FastXML和PfastreXML等顶尖极多标签分类方法相当。

ABSTRACT

Labeled Latent Dirichlet Allocation (LLDA) is an extension of the standard unsupervised Latent Dirichlet Allocation (LDA) algorithm, to address multi-label learning tasks. Previous work has shown it to perform in par with other state-of-the-art multi-label methods. Nonetheless, with increasing label sets sizes LLDA encounters scalability issues. In this work, we introduce Subset LLDA, a simple variant of the standard LLDA algorithm, that not only can effectively scale up to problems with hundreds of thousands of labels but also improves over the LLDA state-of-the-art. We conduct extensive experiments on eight data sets, with label sets sizes ranging from hundreds to hundreds of thousands, comparing our proposed algorithm with the previously proposed LLDA algorithms (Prior--LDA, Dep--LDA), as well as the state of the art in extreme multi-label classification. The results show a steady advantage of our method over the other LLDA algorithms and competitive results compared to the extreme multi-label classification algorithms.

研究动机与目标

• 解决标准LLDA及其现有变体在包含数十万标签的大规模多标签学习中的可扩展性限制。
• 开发一种方法，在通过约束标签搜索空间以减少推理时间的同时保持高性能。
• 通过引入两阶段推理流程，超越Prior-LDA与Dep-LDA，聚焦于相关标签子集。
• 实现在标签集合大小超过10^4的极端多标签设置下的高效推理。
• 为极多标签分类工具箱贡献一种新方法，在多种评估指标下表现具有竞争力。

提出的方法

• 提出两阶段推理流程：首先为测试样本识别相关标签子集，然后将CGS-LLDA算法的搜索范围限制在该子集内。
• 使用tf-idf检索相似的训练样本，并聚合其标签以形成每个测试样本的候选标签子集。
• 仅在缩减后的标签子空间内应用聚类吉布斯采样（CGS），显著降低预测阶段的计算成本。
• 保持LLDA的生成建模框架，但修改推理过程以避免扫描完整标签集。
• 利用标签基数（LM）通常较低（约10^1量级）的事实，使即使在完整标签集较大的情况下，标签子空间搜索依然高效。
• 通过基于实例相似性的动态限制标签空间，扩展LLDA框架，实现对极端标签集的可扩展性。

实验结果

研究问题

• RQ1 经过修改的LLDA方法是否能在包含数十万标签的数据集上有效扩展，同时保持或提升性能？
• RQ2 在推理过程中约束标签搜索空间是否能带来显著的速度提升而不损失预测准确性？
• RQ3 在大规模多标签任务中，Subset LLDA与Prior-LDA和Dep-LDA等先前LLDA变体相比，在性能与效率方面表现如何？
• RQ4 在多种评估指标下，Subset LLDA与FastXML和PfastreXML等最先进极多标签分类方法相比表现如何？
• RQ5 是否存在分类与排序指标之间的性能权衡？Subset LLDA是否更倾向于某一方面？

主要发现

• 在所有数据集上，Subset LLDA在Micro-F与Macro-F的平均排名中均位列第一，优于Prior-LDA与Dep-LDA。
• 在包含670,000个标签的Amazon数据集上，Subset LLDA的precision@1达到0.220，显著优于相同设置下的Prior-LDA（0.118）与Dep-LDA（0.286）。
• 在小规模数据集的24项评估中，Subset LLDA在7项中排名第一，而FastXML与PfastreXML分别在11项与6项中领先。
• 在大规模数据集上，Subset LLDA在Micro-F与Macro-F的平均排名中表现最佳，表明其具有强大的分类性能。
• PfastreXML在倾向性评分的precision@k指标上表现最佳，表明其更适合排序任务。
• 该方法在所有数据集上均一致优于先前的LLDA变体，在多个设置中取得具有统计显著性的提升（p < 0.05，z检验）。