[论文解读] Semantic Regularities in Document Representations

Fei Sun, Jiafeng Guo+3 more|arXiv (Cornell University)|Mar 24, 2016

Topic Modeling参考文献 22被引用 7

一句话总结

本文提出了一项新颖的文档类比任务，用于评估文档表示中的语义规律性，利用现有词类比数据集映射至维基百科文章。神经嵌入模型（如 PV-DM、PV-DBOW 和 BOWE）显著优于传统方法（例如 LSI、LDA），其中 BOWE 在 200 维下达到 69.49% 的准确率，表明强大的词级线性结构以及宽松的 Word Mover's Distance 有助于提升文档级别的推理能力。

ABSTRACT

Recent work exhibited that distributed word representations are good at capturing linguistic regularities in language. This allows vector-oriented reasoning based on simple linear algebra between words. Since many different methods have been proposed for learning document representations, it is natural to ask whether there is also linear structure in these learned representations to allow similar reasoning at document level. To answer this question, we design a new document analogy task for testing the semantic regularities in document representations, and conduct empirical evaluations over several state-of-the-art document representation models. The results reveal that neural embedding based document representations work better on this analogy task than conventional methods, and we provide some preliminary explanations over these observations.

研究动机与目标

• 探究学习得到的文档表示是否表现出与词嵌入中类似的线性语义规律性。
• 开发一个可扩展的、带标签的基准数据集，用于使用维基百科文章评估文档级类比推理。
• 在此新任务上对最先进文档表示模型进行实证比较。
• 识别在文档层面捕捉语义规律性方面表现更优的关键因素。

提出的方法

• 通过标题匹配将现有的词/短语类比问题映射至维基百科文章，以构建大规模、带标签的文档类比测试集。
• 利用 2010 年 4 月的维基百科数据包，构建了一个包含 6,112 个文档类比问题的基准数据集，涵盖 11 种语义关系。
• 评估了 7 种文档表示模型：BOW、LSI、NMF、LDA、PV-DM、PV-DBOW 和 BOWE（使用预训练 Word2Vec 嵌入的 BOW）。
• 在模型训练中使用 TF-IDF、PMI 和负采样；在归一化向量下，采用欧几里得距离求解类比问题。
• 通过在 LSI 中用 PMI 替换 TF-IDF 进行消融研究，以隔离矩阵类型对性能的影响。
• 所有模型均使用标准超参数和学习率衰减，维度从 50 到 200 不等。

实验结果

研究问题

• RQ1 现代模型学习到的文档表示是否表现出与词嵌入中类似的线性语义规律性？
• RQ2 基于神经嵌入的文档模型是否比传统的潜在变量模型更有效地解决文档类比任务？
• RQ3 底层矩阵表示（如 TF-IDF 与 PMI）在实现文档向量中线性结构方面起到什么作用？
• RQ4 为何 BOWE 模型（结合 BOW 与预训练词向量）的表现甚至优于专门设计的神经文档模型？

主要发现

• BOWE 在 200 维下取得最高准确率 69.49%，显著优于所有其他模型（p < 0.01）。
• 神经模型如 PV-DM 和 PV-DBOW 在 200 维下分别取得 37.71% 和 40.61% 的准确率，优于传统模型如 LSI（21.81%）和 LDA（10.45%）。
• LSI 的性能从 TF-IDF 的 9.88% 提升至 PMI 矩阵的 17.0%，表明移位 PMI 是实现线性结构的关键因素。
• 神经模型与传统模型之间的性能差距表明，训练中使用移位 PMI 是关键差异点。
• BOWE 的成功可能归因于预训练词向量中强大的线性结构，以及其距离计算等价于一种宽松的 Word Mover’s Distance。
• 维度增加在所有模型中均提升了性能，其中 BOWE 在 50 到 200 维之间表现出最显著的性能提升。