[论文解读] Self-organized Hierarchical Softmax

Yikang Shen, Shawn Tan+2 more|arXiv (Cornell University)|Jul 26, 2017

Topic Modeling参考文献 24被引用 3

一句话总结

本文提出一种自组织分层Softmax，通过基于上下文相似性而非预定义结构（如频率或词嵌入）在语言模型训练过程中学习词簇。该方法在语言建模中达到全Softmax级别的性能，且在句子压缩任务中表现更优，同时由于上下文驱动的语义有意义聚类，其速度比标准Softmax快三倍以上。

ABSTRACT

We propose a new self-organizing hierarchical softmax formulation for neural-network-based language models over large vocabularies. Instead of using a predefined hierarchical structure, our approach is capable of learning word clusters with clear syntactical and semantic meaning during the language model training process. We provide experiments on standard benchmarks for language modeling and sentence compression tasks. We find that this approach is as fast as other efficient softmax approximations, while achieving comparable or even better performance relative to similar full softmax models.

研究动机与目标

• 解决大规模词汇量语言模型中全Softmax计算效率低下的问题。
• 通过学习反映句法和语义关系的分层词结构来提升模型性能。
• 开发一种分层Softmax，能够基于训练过程中的上下文预测动态组织词语为簇。
• 在保持高精度的同时，实现与近似Softmax方法相当的推理和训练速度。
• 证明自组织簇能够隐式捕捉语法角色和语义相似性，而无需显式词性标注。

提出的方法

• 模型在语言模型训练过程中学习分层树结构，词簇基于其预测上下文形成，而非静态的词频或嵌入。
• 引入聚类目标函数，以最大化给定前序上下文时，某词属于其分配簇的概率。
• 分层Softmax通过从根到叶路径上各节点概率的乘积计算词的概率，将计算复杂度从O(|V|)降低至O(log|V|)。
• 算法使用反向传播联合优化语言模型与分层结构，实现有意义簇的端到端学习。
• 词簇通过基于梯度的优化动态形成，倾向于将上下文行为相似的词聚集在一起。
• 该方法应用于基于LSTM的语言模型以及带有注意力机制的序列到序列模型，用于句子压缩。

实验结果

研究问题

• RQ1 是否可以在语言模型训练过程中端到端学习分层Softmax结构以提升性能？
• RQ2 基于上下文的词聚类是否能产生语义和句法上均合理的词组？
• RQ3 自组织分层Softmax能否在保持计算效率的同时，达到或超越全Softmax的性能？
• RQ4 与预定义或基于嵌入的聚类相比，所学结构在语义一致性方面表现如何？
• RQ5 该分层结构在句子压缩等下游任务中能带来多大程度的性能提升？

主要发现

• 在Gigaword数据集上，自组织分层Softmax的句子压缩F1得分为31.95，优于全Softmax（31.52）和当前最先进方法。
• 在语言建模任务中，该方法性能与全Softmax相当，但速度提升三倍以上，Gigaword5数据集上的训练时间从210分钟减少至63分钟。
• 模型学习到的词簇展现出强烈的语义和句法一致性，无需显式词性标注即可按语法角色和语义分组。
• 定性分析显示，与全Softmax相比，该模型生成的摘要更准确、更流畅，其示例来自Gigaword测试集。
• 该方法表明，训练过程中基于上下文的聚类可提升序列建模任务中的泛化能力与效率。
• 该方法在保持或提升性能的同时，相比标准Softmax实现了3倍的速度提升，证实了其实际效率。