[论文解读] Probabilistic Label Trees for Extreme Multi-label Classification

Kalina Jasinska-Kobus, Marek Wydmuch+3 more|arXiv (Cornell University)|Sep 23, 2020

Text and Document Classification Technologies参考文献 49被引用 9

一句话总结

本文提出了概率标签树（Probabilistic Label Trees, PLTs），一种用于极端多标签分类的层次化模型，通过树路径上的节点特定分类器对标签概率进行因子分解。该模型在多种指标下证明了PLT的一致性，支持端到端在线训练，实现树结构与分类器的联合学习，并提出napkinXC——一种新型实现，在Amazon-3M和WikipediaLarge-500K等大规模数据集上达到最先进性能。

ABSTRACT

Extreme multi-label classification (XMLC) is a learning task of tagging instances with a small subset of relevant labels chosen from an extremely large pool of possible labels. Problems of this scale can be efficiently handled by organizing labels as a tree, like in hierarchical softmax used for multi-class problems. In this paper, we thoroughly investigate probabilistic label trees (PLTs) which can be treated as a generalization of hierarchical softmax for multi-label problems. We first introduce the PLT model and discuss training and inference procedures and their computational costs. Next, we prove the consistency of PLTs for a wide spectrum of performance metrics. To this end, we upperbound their regret by a function of surrogate-loss regrets of node classifiers. Furthermore, we consider a problem of training PLTs in a fully online setting, without any prior knowledge of training instances, their features, or labels. In this case, both node classifiers and the tree structure are trained online. We prove a specific equivalence between the fully online algorithm and an algorithm with a tree structure given in advance. Finally, we discuss several implementations of PLTs and introduce a new one, napkinXC, which we empirically evaluate and compare with state-of-the-art algorithms.

研究动机与目标

• 解决极端多标签分类（XMLC）中的计算与统计挑战，其中标签集合超过一百万个。
• 开发一种层次化模型，将多标签学习转化为沿标签树的二元决策序列，实现次线性时间复杂度。
• 通过将遗憾（regret）以代理损失遗憾的形式进行有界，确保PLT在多种性能指标下的统计一致性。
• 支持完全在线训练，其中树结构与节点分类器均在无先验数据或标签知识的情况下逐步学习。
• 设计并评估一种新型高效实现napkinXC，用于在极端规模数据集上实现可扩展且准确的XMLC。

提出的方法

• 通过标签树中从根到叶的路径应用链式法则对条件标签概率进行建模，将联合概率因子分解为节点级条件估计。
• 在每个内部节点使用二元分类器决定路径是否继续，叶节点分类器用于预测最终标签的包含性。
• 使用代理损失（如平方合页损失）训练节点分类器，并通过在线学习算法优化树结构。
• 在推理阶段应用树搜索策略，基于累积路径概率高效预测top-k标签。
• 提出一种新颖的在线算法，可同时学习树结构与节点分类器，理论上等价于在预定义树结构下进行训练。
• 实现napkinXC，一种针对极端规模数据集优化的高效可扩展PLT框架。

实验结果

研究问题

• RQ1 在一般代理损失最小化下，PLTs是否可在包括precision@k和F1-score在内的多种性能指标下被证明具有一致性？
• RQ2 联合在线学习树结构与节点分类器的方法与使用固定树结构的离线训练相比，表现如何？
• RQ3 在极端多标签设置下，树深度与分支因子对预测准确率与推理速度有何影响？
• RQ4 所提出的napkinXC实现与当前最先进XMLC方法相比，在Amazon-3M和WikipediaLarge-500K等大规模基准上的表现如何？
• RQ5 在线训练过程在无先验知识的情况下，如何在适应流式数据的同时保持预测性能？

主要发现

• PLTs实现统计一致性：其遗憾被上界控制为个体节点分类器代理损失遗憾的函数，确保收敛至最优解。
• 完全在线的联合树结构与分类器学习算法在理论上等价于使用预定义树结构进行训练，支持动态适应且无性能损失。
• 在Amazon-3M数据集上，napkinXC实现46.23%的precision@1与44.74%的precision@5，优于相同训练设置下的先前方法。
• 在WikipediaLarge-500K数据集上，napkinXC达到66.77%的precision@1与63.88%的precision@5，单样本推理时间低于3ms，模型大小低于2.5GB。
• 减少树深度或增加分支因子对性能影响有限，但预叶节点度数显著影响推理速度与模型大小，100度预叶节点在性能与效率间实现最佳平衡。
• 模型具有高效可扩展性：在Amazon-3M上训练耗时约5.4小时，模型大小为9.86GB，单样本推理时间低于2ms，证明其在真实场景部署中的实际可行性。