[论文解读] Word and Document Embeddings based on Neural Network Approaches

Siwei Lai|arXiv (Cornell University)|Nov 18, 2016

Topic Modeling参考文献 112被引用 7

一句话总结

本博士论文提出改进的基于神经网络的词向量与文档向量表示方法，引入了汉字-词联合表征，并提出一种新颖的循环卷积神经网络（RCNN）模型用于文档表征。论文对Skip-gram与GloVe模型提供了实证与理论分析，通过在多种自然语言处理任务上的全面实验，为高效生成词向量提供了实用指导，主要贡献体现在模型设计、语料选择及超参数调优方面，以实现最优性能。

ABSTRACT

Data representation is a fundamental task in machine learning. The representation of data affects the performance of the whole machine learning system. In a long history, the representation of data is done by feature engineering, and researchers aim at designing better features for specific tasks. Recently, the rapid development of deep learning and representation learning has brought new inspiration to various domains. In natural language processing, the most widely used feature representation is the Bag-of-Words model. This model has the data sparsity problem and cannot keep the word order information. Other features such as part-of-speech tagging or more complex syntax features can only fit for specific tasks in most cases. This thesis focuses on word representation and document representation. We compare the existing systems and present our new model. First, for generating word embeddings, we make comprehensive comparisons among existing word embedding models. In terms of theory, we figure out the relationship between the two most important models, i.e., Skip-gram and GloVe. In our experiments, we analyze three key points in generating word embeddings, including the model construction, the training corpus and parameter design. We evaluate word embeddings with three types of tasks, and we argue that they cover the existing use of word embeddings. Through theory and practical experiments, we present some guidelines for how to generate a good word embedding. Second, in Chinese character or word representation. We introduce the joint training of Chinese character and word. ... Third, for document representation, we analyze the existing document representation models, including recursive NNs, recurrent NNs and convolutional NNs. We point out the drawbacks of these models and present our new model, the recurrent convolutional neural networks. ...

研究动机与目标

• 为解决传统特征工程与词袋模型在捕捉语义含义和词序方面存在的局限性。
• 对主流词向量模型（尤其是Skip-gram与GloVe）进行系统性比较与理论分析。
• 设计一种汉字与词表示的联合训练框架，以在低资源或形态结构复杂的语境下提升性能。
• 设计一种新型文档表征模型，以克服现有递归网络、循环网络与卷积神经网络的缺陷。
• 通过在多样化自然语言处理任务上的实证评估，建立高质量词向量生成的实用指导原则。

提出的方法

• 提出一种循环卷积神经网络（RCNN）架构，结合RNN的序列建模能力与CNN的局部特征提取能力，用于文档级表征。
• 在中文自然语言处理中采用字符与词嵌入的联合训练，以提升表征质量并捕捉形态结构信息。
• 对词向量模型的模型架构、训练语料规模与质量、超参数设置等开展全面消融研究。
• 采用三种不同的评估任务——语义相似度、类比推理与文本分类——以验证不同自然语言处理应用中词向量的质量。
• 分析Skip-gram与GloVe之间的理论关系，表明两者通过不同的优化策略实现相似的目标函数优化。
• 应用迁移学习与微调技术，评估所学表征的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 Skip-gram与GloVe在理论上如何关联？其差异具有哪些实际影响？
• RQ2 在生成高质量词向量时，最具影响力的因子是什么——模型架构、语料选择，还是超参数配置？
• RQ3 汉字与词的联合训练能否提升中文文本处理中的表征学习效果？
• RQ4 现有文档级模型（RNN、CNN、递归神经网络）在捕捉长距离依赖与层次结构方面表现如何？
• RQ5 混合型循环-卷积架构是否能在文档表征学习中超越标准模型？

主要发现

• 理论分析表明，Skip-gram与GloVe均优化同一目标函数，但在优化动态与噪声处理方面存在差异。
• 语料质量与规模显著影响词向量性能，更大且领域特定的语料在下游任务中表现更优。
• 汉字与词的联合训练通过保留形态信息并减少OOV（未登录词）问题，有效提升了中文自然语言处理性能。
• 所提出的RCNN模型在文档分类与句子相似度任务中，性能优于独立的RNN、CNN与递归网络。
• 超参数调优（尤其是负采样率与嵌入维度）对所有评估任务中的词向量质量具有显著影响。
• 本研究建立了一套实用的词向量构建指南，强调语料选择、模型选型与参数配置的重要性。