[论文解读] Probabilistic Cascading for Large Scale Hierarchical Classification

Aris Kosmopoulos, Γεώργιος Παλιούρας+1 more|arXiv (Cornell University)|May 9, 2015

Text and Document Classification Technologies参考文献 2被引用 5

一句话总结

本文提出概率级联方法 $P_{\text{path}}$，一种层次分类方法，通过估计每条从根到叶的路径概率并选择最可能的路径，改进了平坦分类和级联分类。该方法在使用相同基分类器的情况下，性能优于平坦和级联方法，Tree Induced Error 得分为 3.437，优于级联方法的 3.609 和平坦分类的 3.874。

ABSTRACT

Hierarchies are frequently used for the organization of objects. Given a hierarchy of classes, two main approaches are used, to automatically classify new instances: flat classification and cascade classification. Flat classification ignores the hierarchy, while cascade classification greedily traverses the hierarchy from the root to the predicted leaf. In this paper we propose a new approach, which extends cascade classification to predict the right leaf by estimating the probability of each root-to-leaf path. We provide experimental results which indicate that, using the same classification algorithm, one can achieve better results with our approach, compared to the traditional flat and cascade classifications.

研究动机与目标

• 解决平坦分类的局限性，即忽略层次结构，并在大规模下变得计算成本高昂。
• 克服级联分类在高层级早期误分类时的敏感性。
• 开发一种方法，在保持级联分类训练效率的同时，通过概率路径评估提高预测准确性。
• 提供一种传统层次分类的可扩展替代方案，通过比平坦或贪婪级联方法更有效地利用层次信息。

提出的方法

• 为层次结构中的每个内部节点训练一个二分类器，使用其后代叶节点作为正样本，其兄弟节点的叶节点作为负样本。
• 对于每个测试实例，基于节点分类概率的乘积，使用贝叶斯推理计算每条从根到叶路径的概率。
• 应用公式 $P(\text{Music}|d) = \frac{P(\text{Arts}|d) \cdot P(\text{Music}|\text{Arts},d)}{P(\text{Arts}|\text{Music},d)}$ 来估计路径概率，尽管所提供的文本中该公式的推导不完整。
• 将对应于最可能的从根到叶路径的叶节点作为最终预测结果。
• 通过每个节点仅训练一个二分类器，保持与级联分类相似的训练复杂度。
• 与级联分类相比，推理成本更高，因为需评估所有可能的路径，因此其时间复杂度与平坦分类相当。

实验结果

研究问题

• RQ1 能否通过减少早期误分类导致的误差传播，使一种层次分类方法优于标准级联分类？
• RQ2 在引入路径概率估计后，其性能是否优于平坦分类，特别是在层次评估指标方面？
• RQ3 一种方法能否在保持级联分类训练效率的同时，通过概率路径评分实现更高的准确性？
• RQ4 在标准评估指标下，$P_{\text{path}}$ 的性能与平坦分类和级联分类相比如何，特别是 Tree Induced Error？
• RQ5 当考虑前 K 个预测类别时，$P_{\text{path}}$ 在多大程度上提升了排序质量？

主要发现

• $P_{\text{path}}$ 方法在所有方法中取得了最高的准确率（0.431），优于平坦分类（0.405）和级联分类（0.404）。
• 在宏平均 F1 分数上，$P_{\text{path}}$ 得分为 0.294，优于级联分类（0.278）和平坦分类（0.256）。
• Tree Induced Error 在 $P_{\text{path}}$ 上最低，为 3.437，低于级联分类的 3.609 和平坦分类的 3.874，表明高层级错误更少。
• 在前 K 个召回率分析中，$P_{\text{path}}$ 在 K 从 1 到 10 的所有取值下均持续优于平坦分类。
• 该方法保持了与级联分类相似的训练效率，但推理成本更高，由于需完整评估所有路径，因此其复杂度与平坦分类相当。
• 结果表明，$P_{\text{path}}$ 在人类标注员从短名单中选择预测类别的人机协作半自动分类场景中尤为有效。