[论文解读] Simultaneous Learning of Trees and Representations for Extreme Classification and Density Estimation

Yacine Jernite, Anna Choromanska+1 more|arXiv (Cornell University)|Oct 14, 2016

Machine Learning and Data Classification参考文献 47被引用 14

一句话总结

本文提出了一种新颖的算法，用于在极端多分类分类和条件密度估计中同时学习分层树结构与数据表示。通过使用随机梯度下降（SGD）优化一个平衡且可分离的节点划分目标函数，该方法在文本分类和语言建模基准测试中实现了最先进（SOTA）的准确率与效率，优于FastText和Huffman树等基线方法，同时实现了端到端的表示与树结构学习。

ABSTRACT

We consider multi-class classification where the predictor has a hierarchical structure that allows for a very large number of labels both at train and test time. The predictive power of such models can heavily depend on the structure of the tree, and although past work showed how to learn the tree structure, it expected that the feature vectors remained static. We provide a novel algorithm to simultaneously perform representation learning for the input data and learning of the hierarchi- cal predictor. Our approach optimizes an objec- tive function which favors balanced and easily- separable multi-way node partitions. We theoret- ically analyze this objective, showing that it gives rise to a boosting style property and a bound on classification error. We next show how to extend the algorithm to conditional density estimation. We empirically validate both variants of the al- gorithm on text classification and language mod- eling, respectively, and show that they compare favorably to common baselines in terms of accu- racy and running time.

研究动机与目标

• 解决由于树结构次优而导致极端分类与密度估计性能不佳的问题。
• 实现输入表示与分层树结构的端到端联合学习，而非固定表示或依赖启发式方法。
• 开发一种数据相关、高效的算法，用于构建高质量、平衡且可分离的树划分。
• 将该方法扩展至条件密度估计，特别是语言建模，通过树结构目标函数实现。
• 通过一种类似提升（boosting）的性质与分类误差界，为模型准确率提供理论保证。

提出的方法

• 提出一种新颖的目标函数，偏好在任意分支度的树中实现平衡且易于分离的多路节点划分。
• 使用随机梯度下降（SGD）优化该目标函数，实现树结构与特征表示的联合学习。
• 采用一种深度受限的标签分配算法（AssignLabels），基于梯度选择，贪心地将标签分配给子节点。
• 在推理时使用截断的深度优先搜索，高效地找到最可能的标签，同时剪枝得分较低的子树。
• 通过在标签上建模概率分布的树结构目标函数，将该框架适配至条件密度估计。
• 在语言建模中应用该方法，采用65叉树，通过层次Softmax学习词嵌入，并通过基于聚类的标签分配方法实现。

实验结果

研究问题

• RQ1 是否存在一种数据驱动的、端到端的方法，能够联合学习极端分类中的最优树结构与输入表示？
• RQ2 所提出的损失函数是否相比固定或启发式树结构，能带来更好的泛化性能与更低的分类误差？
• RQ3 该框架能否有效扩展至条件密度估计任务，如语言建模？
• RQ4 与现有基线相比，该算法在训练与推理时间上的可扩展性如何？
• RQ5 树的深度与分支度对模型准确率与效率的影响如何？

主要发现

• 在YFCC100M数据集上，分支度为5的所学树结构在d=20时达到32.1%的精确率，优于FastText（27.2%）与Huffman树（28.3%），且推理速度更快。
• 在d=200时，所学树结构达到36.6%的精确率，超过TagSpace（35.6%）与FastText（35.2%），同时保持较低的测试时间。
• 在语言建模中，基于所学树的模型在Gutenberg语料库上表现出具有竞争力的性能，验证了其在密度估计中的有效性。
• 该算法在d=200时仅用45分钟完成训练，而TagSpace需15小时，显示出显著的速度提升。
• 理论分析验证了类似提升（boosting）的性质，并提供了分类误差的界，支持目标函数设计的合理性。
• 标签分配算法成功在深度受限条件下将标签分配至叶节点，最终树中涌现出可解释的聚类（如第三人称动词、过去分词、地点等）。