[论文解读] On the Linear Algebraic Structure of Distributed Word Representations

Lisa Seung-Yeon Lee|arXiv (Cornell University)|Nov 22, 2015

Topic Modeling参考文献 29被引用 3

一句话总结

本文提出利用词嵌入的低秩线性代数结构——特别是类别或关系中词语形成的子空间——通过SVD来发现新事实，并在极少共现数据下学习罕见词的向量表示。实验表明，该方法可在显著降低数据需求的前提下实现准确的事实发现与向量学习，通过子空间投影和外部过滤手段有效降低误报率。

ABSTRACT

In this work, we leverage the linear algebraic structure of distributed word representations to automatically extend knowledge bases and allow a machine to learn new facts about the world. Our goal is to extract structured facts from corpora in a simpler manner, without applying classifiers or patterns, and using only the co-occurrence statistics of words. We demonstrate that the linear algebraic structure of word embeddings can be used to reduce data requirements for methods of learning facts. In particular, we demonstrate that words belonging to a common category, or pairs of words satisfying a certain relation, form a low-rank subspace in the projected space. We compute a basis for this low-rank subspace using singular value decomposition (SVD), then use this basis to discover new facts and to fit vectors for less frequent words which we do not yet have vectors for.

研究动机与目标

• 在不使用分类器或模式匹配的情况下，从词嵌入中发现新的事实知识。
• 通过利用类别和关系的低秩结构，减少训练词向量所需的数据量。
• 仅通过共现统计和子空间投影，实现对罕见或未见词的向量学习。
• 通过使用外部知识源（如WordNet）进行过滤，提高基于子空间投影的事实发现准确性。
• 探究所学子空间中基向量的可解释性，以揭示语言规律性。

提出的方法

• 对词共现矩阵进行奇异值分解（SVD），计算类别和关系的低秩子空间。
• 利用所得基向量对词向量进行投影与重构，实现对罕见或未见词的向量学习。
• 应用向量优化目标，最小化与所学子空间的距离，同时保持语义一致性。
• 基于外部知识（如WordNet）使用POS和LEX过滤器，减少事实发现中的误报。
• 应用EXTEND_RELATION算法，通过投影到所学子空间，生成满足给定关系的新词对。
• 使用第一个基向量捕捉类别层面的一般语义，后续向量编码更具体的属性。

实验结果

研究问题

• RQ1 词嵌入的低秩子空间结构是否可用于在无标注数据或复杂模型的情况下，发现词语之间的新事实关系？
• RQ2 基于SVD的子空间学习在多大程度上可减少训练词向量（尤其是罕见词）的数据需求？
• RQ3 所学子空间的各个基向量如何对应可解释的语言特征（例如国家发展水平、地理区域等）？
• RQ4 外部知识源（如WordNet）是否能提升基于子空间投影的事实发现算法的精确度？
• RQ5 与GloVe或skip-gram等标准方法相比，基于子空间的向量学习在罕见词上的性能如何？

主要发现

• 所学子空间的第一个基向量捕捉了类别或关系的一般语义信息，而后续向量则编码了单个词或词对的更具体属性。
• EXTEND_RELATION算法在应用于词汇表中所有可能的词对时，仍能以极低的误报率成功发现满足关系的新词对。
• 使用WordNet中的POS和LEX过滤器显著提升了某些关系类型下的准确性，尤其在基于语义的关系中效果明显。
• LEARN_VECTOR方法在远少于标准方法所需共现数据的情况下，实现了对罕见词的准确向量学习。
• 对于基于语义的关系，LEX过滤器在19个关系文件中的12个上提升了准确率，而POS过滤器在全部19个文件上均提升了准确率。
• 在语法关系上，该算法在无过滤条件下达到100%准确率，表明子空间结构本身具有极强的内在一致性。