[论文解读] Uncertainty in Neural Network Word Embedding: Exploration of Threshold for Similarity

Navid Rekabsaz, Mihai Lupu+1 more|arXiv (Cornell University)|Jun 20, 2016

Topic Modeling参考文献 26被引用 3

一句话总结

本文提出一种数据驱动、具备不确定性感知的阈值方法，用于识别神经网络词嵌入中的语义相关词语，通过连续邻域表示估计一个稳定且可泛化的截止值。在四个信息检索（IR）数据集上评估，该方法在所有维度（100–400）下性能与最优阈值无统计学差异，显著优于基线k-NN方法。

ABSTRACT

Word embedding, specially with its recent developments, promises a quantification of the similarity between terms. However, it is not clear to which extent this similarity value can be genuinely meaningful and useful for subsequent tasks. We explore how the similarity score obtained from the models is really indicative of term relatedness. We first observe and quantify the uncertainty factor of the word embedding models regarding to the similarity value. Based on this factor, we introduce a general threshold on various dimensions which effectively filters the highly related terms. Our evaluation on four information retrieval collections supports the effectiveness of our approach as the results of the introduced threshold are significantly better than the baseline while being equal to or statistically indistinguishable from the optimal results.

研究动机与目标

• 为解决现有方法在词嵌入中识别真正语义相关术语时缺乏系统性方法的问题，超越任意k-NN或固定阈值的局限。
• 量化神经网络词嵌入产生的相似度分数中的不确定性，该不确定性源于训练过程中的随机性和初始化差异。
• 开发一种通用的、与维度无关的阈值，用于将语义相关术语与无关术语分离，且不依赖于具体词语。
• 在文档检索的查询扩展任务中评估该阈值的有效性，与k-NN和最优阈值基线进行比较。
• 证明所提出的阈值在多个IR测试集合上与通过穷举搜索获得的最优阈值无统计学差异。

提出的方法

• 通过在相同数据上使用不同随机种子训练多个相同模型实例，建模词嵌入相似度中的不确定性，捕捉相似度分数的方差。
• 通过聚合多个模型运行中的相似度分数，为每个词语构建连续邻域表示，形成邻居分数的分布。
• 从该不确定性感知邻域分布的集中趋势和置信区间中推导出阈值，确保对模型方差具有鲁棒性。
• 将该阈值应用于文档检索中的查询扩展，仅筛选出高度可靠、语义相关的术语。
• 使用标准IR指标（MAP和NDCG）在四个基准数据集上评估该方法，与k-NN和最优阈值基线进行性能比较。
• 方法采用Word2Vec框架中的跳字模型与负采样（SGNS），词嵌入在100–400维下进行训练。

实验结果

研究问题

• RQ1 是否可以量化词嵌入相似度分数中的不确定性，并利用其定义一个稳定可靠的阈值以识别语义相关术语？
• RQ2 基于不确定性建模推导出的通用、与维度无关的阈值是否在信息检索任务中优于k-NN和固定阈值基线？
• RQ3 所提阈值在不同嵌入维度下的性能与通过穷举搜索获得的最优阈值相比如何？
• RQ4 每个词语的语义相关术语分布（如邻居数量）在多大程度上与WordNet等已知语言资源相匹配？

主要发现

• 所提出的不确定性感知阈值在四个IR数据集上所有测试维度（100、200、300、400）下均与最优阈值无统计学差异。
• 该方法显著优于k-NN基线，后者在k增大时性能迅速下降，k=1和k=2时仅略优于基线。
• 在300维嵌入下，每个查询的平均相似术语数量为1.5，标准差为3.0，与WordNet的均值1.6和标准差3.1高度接近。
• 该阈值在100、200和300维下为最优，且在400维下与最优阈值无统计学差异，表明其在不同维度下均具鲁棒性。
• 结果表明，性能在所提阈值附近达到峰值，当阈值设置过低（引入噪声）或过高（过度过滤）时性能均下降。
• 基于不确定性的邻域表示有效捕捉了词嵌入相似度的内在可变性，从而支持一种系统性、可泛化的阈值策略。