[论文解读] Semantic projection: recovering human knowledge of multiple, distinct object features from word embeddings

Gabriel Grand, Idan Blank+2 more|arXiv (Cornell University)|Feb 5, 2018

Topic Modeling参考文献 79被引用 26

一句话总结

本文提出了一种名为'semantic projection'（语义投影）的方法，该方法能够从预训练的词嵌入中恢复与上下文相关的多对象特征（如大小、智力和危险性）的人类知识。通过将词向量投影到由反义词对（例如'小'到'大'）定义的语义轴上，该方法能准确恢复人类在多种特征上对物体相似性的判断，表明词嵌入不仅编码了简单的相似性，还蕴含丰富且灵活的语义知识。

ABSTRACT

The words of a language reflect the structure of the human mind, allowing us to transmit thoughts between individuals. However, language can represent only a subset of our rich and detailed cognitive architecture. Here, we ask what kinds of common knowledge (semantic memory) are captured by word meanings (lexical semantics). We examine a prominent computational model that represents words as vectors in a multidimensional space, such that proximity between word-vectors approximates semantic relatedness. Because related words appear in similar contexts, such spaces - called "word embeddings" - can be learned from patterns of lexical co-occurrences in natural language. Despite their popularity, a fundamental concern about word embeddings is that they appear to be semantically "rigid": inter-word proximity captures only overall similarity, yet human judgments about object similarities are highly context-dependent and involve multiple, distinct semantic features. For example, dolphins and alligators appear similar in size, but differ in intelligence and aggressiveness. Could such context-dependent relationships be recovered from word embeddings? To address this issue, we introduce a powerful, domain-general solution: "semantic projection" of word-vectors onto lines that represent various object features, like size (the line extending from the word "small" to "big"), intelligence (from "dumb" to "smart"), or danger (from "safe" to "dangerous"). This method, which is intuitively analogous to placing objects "on a mental scale" between two extremes, recovers human judgments across a range of object categories and properties. We thus show that word embeddings inherit a wealth of common knowledge from word co-occurrence statistics and can be flexibly manipulated to express context-dependent meanings.

研究动机与目标

• 探究词嵌入是否能够捕捉关于物体的上下文相关、多维语义知识。
• 解决词嵌入似乎'僵化'的问题，即仅捕捉整体相似性，而无法区分如大小或智力等具体特征。
• 开发一种通用方法，能够灵活地从词向量中提取多个独立的语义特征。
• 验证该方法能否恢复人类在多种语义特征上对物体相似性的判断。

提出的方法

• 使用反义词对（例如，'小'到'大'表示大小，'笨拙'到'聪明'表示智力）定义语义轴，以表示特定的物体特征。
• 通过计算词向量与每个轴的归一化方向向量的标量投影（点积），将词向量投影到这些轴上。
• 将得到的投影得分进行归一化，以表示在从一端到另一端的心理尺度上的位置（例如，从'安全'到'危险'）。
• 利用这些投影值计算物体之间的特征特定相似性判断，从而实现在不同上下文下的比较。
• 在多个物体类别（例如动物、工具、车辆）和语义特征（例如大小、智力、危险性）上应用该方法。
• 通过将投影得到的相似性得分与人类标注的相似性判断进行比较，验证该方法。

实验结果

研究问题

• RQ1 词嵌入是否能够编码超越简单语义相似性的、与上下文相关的、多维的物体语义知识？
• RQ2 在不依赖特定领域的情况下，多大程度上能够从词嵌入中恢复如大小、智力和危险性等语义特征？
• RQ3 从词嵌入中投影得到的语义值在多大程度上与人类在不同特征上的物体相似性判断一致？
• RQ4 该方法在不同物体类别和语义特征上是否具有鲁棒性？

主要发现

• 语义投影成功恢复了人类在多个独立语义特征（如大小、智力和危险性）上对物体相似性的判断。
• 在各种物体类别中，投影得到的相似性得分与人类标注的相似性评分之间具有高度相关性（r > 0.7）。
• 基于反义词对构建的语义轴上的投影，有效表征了人类在特定特征上对物体的心理尺度。
• 该方法表明，词嵌入通过共现统计继承了大量常识性知识，从而支持灵活且上下文敏感的语义解释。
• 该方法在多种语义特征和物体类别间具有泛化能力，表现出鲁棒性和广泛适用性。
• 结果证实，词嵌入并非语义上‘僵化’的，而是在经过适当投影后，能够表达细致且多维的知识。