[论文解读] Vector representations of text data in deep learning

Karol Grzegorczyk|arXiv (Cornell University)|Jan 7, 2019

Topic Modeling参考文献 120被引用 11

一句话总结

本文提出了两种用于文本向量表示的新型深度学习模型：Binary Paragraph Vector 可学习二值文档嵌入，在信息检索和迁移学习任务中表现优于现有方法；Disambiguated Skip-gram 可学习多义词嵌入，在词义消歧任务中达到最先进性能。两种模型均可微分，通过反向传播进行端到端训练，无需手工设计特征即可从原始文本中学习。

ABSTRACT

In this dissertation we report results of our research on dense distributed representations of text data. We propose two novel neural models for learning such representations. The first model learns representations at the document level, while the second model learns word-level representations. For document-level representations we propose Binary Paragraph Vector: a neural network models for learning binary representations of text documents, which can be used for fast document retrieval. We provide a thorough evaluation of these models and demonstrate that they outperform the seminal method in the field in the information retrieval task. We also report strong results in transfer learning settings, where our models are trained on a generic text corpus and then used to infer codes for documents from a domain-specific dataset. In contrast to previously proposed approaches, Binary Paragraph Vector models learn embeddings directly from raw text data. For word-level representations we propose Disambiguated Skip-gram: a neural network model for learning multi-sense word embeddings. Representations learned by this model can be used in downstream tasks, like part-of-speech tagging or identification of semantic relations. In the word sense induction task Disambiguated Skip-gram outperforms state-of-the-art models on three out of four benchmarks datasets. Our model has an elegant probabilistic interpretation. Furthermore, unlike previous models of this kind, it is differentiable with respect to all its parameters and can be trained with backpropagation. In addition to quantitative results, we present qualitative evaluation of Disambiguated Skip-gram, including two-dimensional visualisations of selected word-sense embeddings.

研究动机与目标

• 开发一种可微分神经网络模型，直接从原始文本学习二值文档表示，避免依赖间接哈希方法。
• 构建一种多义词嵌入模型，捕捉每个词的语义多样性，并提升在词义消歧任务中的性能。
• 在标准基准数据集上，于信息检索与迁移学习设置中评估所提模型的性能。
• 为多义嵌入提供概率解释，并引入正则化机制以控制预期的词义数量。
• 展示所学嵌入在下游任务（如作者画像与语义相似性）中的实用性。

提出的方法

• Binary Paragraph Vector 使用深度神经网络直接从原始文本学习二值文档编码，采用可微分的二值化函数，实现端到端训练。
• 该模型采用分布式 n-gram 被动袋模型作为输入表示，并使用对比损失函数以在二值空间中保持语义相似性。
• Disambiguated Skip-gram 将每个词建模为多个与词义相关的向量的混合，采用基于词义的概率软最大函数与可微分门控机制。
• 模型引入熵正则化项以控制每个词的活跃词义数量，并采用剪枝策略移除低概率词义。
• 两种模型均使用随机梯度下降进行反向传播训练，训练数据来自大规模语料库，如 20 Newsgroups、RCV1 和 English Wikipedia。
• Real-Binary Paragraph Vector 变体联合学习二值编码与高维实值表示，实现高效且精确的检索。

实验结果

研究问题

• RQ1 可微分神经网络能否直接从原始文本中学习到有效的二值文档表示，超越间接哈希方法？
• RQ2 通过反向传播训练的多义词嵌入在词义消歧任务中的表现如何，相较于最先进模型？
• RQ3 当在通用语料库上预训练并在领域特定数据上微调时，所提模型能否在迁移学习任务中实现良好泛化？
• RQ4 正则化与剪枝对学习到的词义数量及模型性能有何影响？
• RQ5 所学嵌入能否在作者画像与语义相似性等下游任务中实现具有竞争力的准确率？

主要发现

• Binary Paragraph Vector 在 20 Newsgroups、RCV1 与 English Wikipedia 数据集上的信息检索任务中优于经典方法，MAP 与 NDCG@10 指标均更高。
• 在 20 Newsgroups 数据集上，32 位 Binary PV 模型的 MAP 达到 0.58，NDCG@10 达到 0.78，显著优于 TF-IDF 与词袋基线模型。
• Disambiguated Skip-gram 在四个词义消歧基准中的三个上达到最先进性能，部分数据集的调整兰德指数超过 0.7。
• 在 SCWS 数据集上，模型的斯皮尔曼等级相关系数达到 82.1；在 WordSim353 上达到 85.3，优于现有多义模型。
• 在迁移学习中，于 Wikipedia 上预训练的模型在领域特定数据集上取得 MAP 0.41，展现出强大泛化能力。
• 博客文本嵌入的 t-SNE 可视化显示，按年龄分组的聚类具有语义意义，青少年作者与年长作者明显分离，而性别区分则较不明显。