[论文解读] Redefining Context Windows for Word Embedding Models: An Experimental Study

Lison, Pierre, Pierre Lison|arXiv (Cornell University)|Jan 1, 2017

Topic Modeling被引用 14

一句话总结

本文系统评估了连续跳字模型中上下文窗口的四个超参数：窗口大小、加权方案、窗口位置（左、右、对称）以及跨句上下文。主要发现表明，右文窗口在语义相似性任务上的表现与对称窗口相当，且在短句语料（如OpenSubtitles）中，跨句上下文显著提升了类比任务的性能。

ABSTRACT

Distributional semantic models learn vector representations of words through the contexts they occur in. Although the choice of context (which often takes the form of a sliding window) has a direct influence on the resulting embeddings, the exact role of this model component is still not fully understood. This paper presents a systematic analysis of context windows based on a set of four distinct hyperparameters. We train continuous Skip- Gram models on two English-language corpora for various combinations of these hyper-parameters, and evaluate them on both lexical similarity and analogy tasks. Notable experimental results are the positive impact of cross-sentential contexts and the surprisingly good performance of right-context windows.

研究动机与目标

• 研究不同上下文窗口配置对分布语义模型中词嵌入质量的影响。
• 确定非对称窗口（左或右）在捕捉语义和句法关系方面是否与对称窗口表现相当。
• 评估跨句上下文（扩展至句子边界之外）对嵌入性能的影响。
• 评估加权方案和停用词去除对相似性与类比任务中模型性能的影响。
• 为使用跳字模型训练词嵌入提供实证性的超参数选择指导。

提出的方法

• 在两个英文语料（Gigaword 和 OpenSubtitles）上训练连续跳字负采样（SGNS）模型。
• 调整四个超参数：最大窗口大小（1–10）、加权方案（线性与基于距离的平方根衰减）、窗口位置（左、右、对称）以及是否包含跨句上下文。
• 应用线性加权（如 Mikolov 等，2013b 所述）与平方根衰减加权，以评估其对训练和性能的影响。
• 使用停用词去除作为过滤技术，评估其对模型效率和性能的影响。
• 在 SimLex-999 上评估模型的词汇相似性（斯皮尔曼等级相关系数），并在标准类比基准上进行评估。
• 报告所有配置下的平均性能，以识别稳健趋势和最优设置。

实验结果

研究问题

• RQ1 上下文窗口的大小如何影响词汇相似性和类比任务的性能？
• RQ2 仅使用右侧上下文窗口是否能在语义相似性和类比任务上达到与对称窗口相当的性能？
• RQ3 在短句语料中，跨句上下文在多大程度上提升了词嵌入质量？
• RQ4 线性加权与平方根衰减加权方案中，哪一种提供更好的性能和训练效率？
• RQ5 停用词去除如何影响模型性能和训练速度？

主要发现

• 在 OpenSubtitles 上，右文窗口在 SimLex-999 上的斯皮尔曼相关系数达到 0.43，在 Gigaword 上为 0.44，与对称窗口的性能（分别为 0.43 和 0.45）相当。
• 跨句上下文使 OpenSubtitles 上的类比任务性能提升 0.09（从 0.34 提升至 0.43），Gigaword 上提升 0.01（从 0.66 提升至 0.65），在短句语料中提升最为显著。
• 线性加权方案在训练速度上优于平方根衰减方案（后者慢约 25%），且在性能上无一致优势。
• 停用词去除使 OpenSubtitles 上的类比任务性能提升 0.09（从 0.34 提升至 0.43），Gigaword 上提升 0.04（从 0.64 提升至 0.68），对相似性任务无显著影响。
• 由于有效上下文大小更大，对称窗口在类比任务中始终优于单侧窗口，尽管仅使用右文窗口在相似性任务上已能与对称窗口性能持平。
• 在 OpenSubtitles 上，窗口大小为 10 时类比性能最佳，而在 Gigaword 上窗口大小为 2 时表现最优，表明最优设置具有语料依赖性。