[论文解读] Semantic Specialisation of Distributional Word Vector Spaces using Monolingual and Cross-Lingual Constraints

Nikola Mrkšić, Ivan Vulić+6 more|arXiv (Cornell University)|Jun 1, 2017

Topic Modeling参考文献 74被引用 37

一句话总结

本文提出 Attract-Repel 方法，通过将来自 BabelNet 等词典资源的单语和跨语言同义与反义约束注入分布语言向量空间，提升词向量质量。该方法在多语言语义相似性基准上达到最先进性能，并通过实现高质量的跨语言迁移，显著提升对话状态追踪（DST）性能，尤其在低资源设置下表现突出。

ABSTRACT

We present Attract-Repel, an algorithm for improving the semantic quality of word vectors by injecting constraints extracted from lexical resources. Attract-Repel facilitates the use of constraints from mono- and cross-lingual resources, yielding semantically specialised cross-lingual vector spaces. Our evaluation shows that the method can make use of existing cross-lingual lexicons to construct high-quality vector spaces for a plethora of different languages, facilitating semantic transfer from high- to lower-resource ones. The effectiveness of our approach is demonstrated with state-of-the-art results on semantic similarity datasets in six languages. We next show that Attract-Repel-specialised vectors boost performance in the downstream task of dialogue state tracking (DST) across multiple languages. Finally, we show that cross-lingual vector spaces produced by our algorithm facilitate the training of multilingual DST models, which brings further performance improvements.

研究动机与目标

• 通过整合来自词典资源的语言约束，提升分布语言向量的语义质量。
• 利用单语和跨语言同义与反义关系，实现跨语言向量空间的语义专业化。
• 通过受约束的向量空间对齐，实现从高资源语言到低资源语言的迁移学习。
• 评估受约束词向量对下游 NLP 任务的影响，特别是对话状态追踪（DST）。
• 证明内在评估提升（如 SimLex 上的表现）并不总是能转化为成比例的下游性能提升，并识别其适用条件。

提出的方法

• Attract-Repel 通过受约束的优化过程，对预训练的分布语言向量进行精炼，使向量空间中同义词相互吸引，反义词相互排斥。
• 该方法使用线性变换调整词向量，使同义词之间的余弦相似度增加，反义词之间的余弦相似度降低。
• 约束来自多语言词典资源（如 BabelNet），支持 271 种语言的向量空间跨语言对齐。
• 该算法联合优化单语和跨语言约束，在保持原始分布结构的同时提升语义精确度。
• 该方法作为后处理步骤应用于现有词嵌入，与多种预训练模型兼容。
• 该方法在六种语言的 SimLex-999 和 SimVerb-3500 上进行评估，并在多语言对话状态追踪任务中测试其效果。

实验结果

研究问题

• RQ1 在分布语言向量中注入单语和跨语言同义与反义约束，能否提升其语义质量？
• RQ2 使用 BabelNet 约束进行跨语言专业化，是否能提升在多语言语义相似性基准上的性能？
• RQ3 内在语义相似性评估中的提升在多大程度上能转化为对话状态追踪等下游 NLP 任务的性能改进？
• RQ4 Attract-Repel 能否有效利用高资源语言向量，为低资源语言构建高质量的词表示？
• RQ5 在低资源和多语言 DST 场景下，Attract-Repel 的性能与基线双语和多语言向量空间相比如何？

主要发现

• Attract-Repel 在 Multilingual SimLex-999 数据集上达到最先进性能，优于使用类似词典约束的先前方法。
• 该方法在英语、意大利语和德语的对话状态追踪（DST）任务中均实现性能提升，尤其在使用本体对齐向量的低资源设置下提升显著。
• 使用 Attract-Repel 专业化向量训练的多语言 DST 模型，在英语上达到 82.8% 准确率，意大利语为 77.1%，德语为 57.7%，超过基线模型。
• 尽管 SimLex 分数大幅提升，但 DST 性能提升相对温和，表明内在评估与下游评估指标之间存在脱节。
• 利用 BabelNet 的跨语言专业化可实现有效的迁移学习，显著提升希伯来语和克罗地亚语等低资源语言的 DST 性能。
• 单语与跨语言 Attract-Repel 向量之间的性能差距较小，表明仅使用跨语言约束即可生成稳健且高质量的多语言表示。