[论文解读] Non-distributional Word Vector Representations

Manaal Faruqui, Chris Dyer|arXiv (Cornell University)|Jun 17, 2015

Topic Modeling参考文献 34被引用 16

一句话总结

本文提出一种方法，利用 WordNet、FrameNet 和 Supersenses 等资源中的手工构建语言特征，生成可解释的、非分布式的词向量。这些向量为二值化且 99.9% 稀疏，每个维度代表一个语言学特征（例如词性、语义框架、情感），在语义和句法评估基准上实现了与最先进分布式模型相当的性能。

ABSTRACT

Data-driven representation learning for words is a technique of central importance in NLP. While indisputably useful as a source of features in downstream tasks, such vectors tend to consist of uninterpretable components whose relationship to the categories of traditional lexical semantic theories is tenuous at best. We present a method for constructing interpretable word vectors from hand-crafted linguistic resources like WordNet, FrameNet etc. These vectors are binary (i.e, contain only 0 and 1) and are 99.9% sparse. We analyze their performance on state-of-the-art evaluation methods for distributional models of word vectors and find they are competitive to standard distributional approaches.

研究动机与目标

• 开发与传统词汇语义理论一致的可解释词向量表示。
• 克服分布式词向量中向量分量不可解释的问题。
• 评估从语言学派生的、非分布式的向量是否能在标准基准上达到与分布式模型相当的性能。
• 证明基于语言学资源的、与任务无关的特征工程向量可在 NLP 任务中保持竞争力。
• 为密集的、通过分布学习得到的词嵌入提供一种完全可解释的替代方案。

提出的方法

• 构建二值化、高度稀疏（≈99.9% 为零）的词向量，其中每个维度对应一个来自现有资源的语言学特征。
• 从 WordNet（同义词集、上位词、下位词、整体-部分关系、反义词、相关词）、FrameNet（带词性标注的框架和角色）以及 Supersenses（名词、动词、形容词的语义领域）中提取特征。
• 将情感和情绪词典（例如 Mohammad & Turney, 2013）作为额外的二值特征纳入。
• 使用词性标注和词汇关系（同义词、反义词）作为特征，每个特征以 1（存在）或 0（不存在）编码。
• 将多个语言学资源中的特征聚合到统一的向量空间中，使用所有来源的特征并集。
• 通过排除词共现统计，确保向量为非分布式的，仅依赖符号化语言学知识。

实验结果

研究问题

• RQ1 从语言学派生的、非分布式的词向量能否实现与最先进分布式词向量相当的性能？
• RQ2 从符号化语言学资源派生的可解释、二值化、稀疏向量在多大程度上能捕捉语义和句法关系？
• RQ3 这些向量在词相似性与类比任务等内在评估基准上与分布式模型相比如何？
• RQ4 与任务无关的、特征工程化的向量表示是否能在多样化的 NLP 评估任务中保持泛化能力？
• RQ5 结合多个语言学资源（如 WordNet、FrameNet、情感词典）对向量质量与覆盖范围有何影响？

主要发现

• 所提出的语言学词向量在内在评估基准（包括词相似性与类比任务）上实现了与最先进分布式模型相当的性能。
• 尽管为二值化且 99.9% 稀疏，这些向量仍能捕捉有意义的语义和句法关系，这在 SimLex-999 等语义相似性评估中表现强劲。
• 这些向量完全可解释，每个维度直接对应一个语言学特征（例如 'Verb.Frame.Regard' 或 'SS.Noun.Feeling'），支持清晰的语义分析。
• 该方法在多样化语言学资源中实现了高覆盖率：所有特征的并集覆盖了 119,257 个词和 172,418 个不同的语言学特征。
• 语言学向量的性能可与在数十亿词语料上训练的模型相媲美，证明符号知识可在无需分布统计的情况下生成稳健表示。
• 这些向量可通过 https://github.com/mfaruqui/non-distributional 获取，供 NLP 社区重用与基准测试。