[论文解读] Neural-based Noise Filtering from Word Embeddings

Kim-Anh Nguyen, Sabine Schulte im Walde+1 more|arXiv (Cornell University)|Oct 6, 2016

Topic Modeling参考文献 22被引用 3

一句话总结

本文提出了两种基于神经网络的新模型——完整词去噪嵌入（CompEmb）和过完备词去噪嵌入（OverCompEmb）——通过深度前馈滤波网络减少预训练词嵌入中的噪声。该方法通过增强有意义的上下文并抑制无关上下文来提升语义显著性，从而在词相似性、同义词检测和名词短语分类任务上相比原始嵌入取得了更好的性能。

ABSTRACT

Word embeddings have been demonstrated to benefit NLP tasks impressively. Yet, there is room for improvement in the vector representations, because current word embeddings typically contain unnecessary information, i.e., noise. We propose two novel models to improve word embeddings by unsupervised learning, in order to yield word denoising embeddings. The word denoising embeddings are obtained by strengthening salient information and weakening noise in the original word embeddings, based on a deep feed-forward neural network filter. Results from benchmark tasks show that the filtered word denoising embeddings outperform the original word embeddings.

研究动机与目标

• 解决预训练词嵌入中的噪声问题，因为噪声会降低下游自然语言处理任务的性能。
• 通过无监督去噪和神经网络滤波器，不依赖外部词汇资源，改进词嵌入。
• 探究在完整和过完备向量空间中，去噪是否能提升语义表征质量。
• 评估滤波器深度对去噪性能和向量质量的影响。
• 提供公开可获取的实现代码，以支持可复现性和进一步研究。

提出的方法

• 该方法采用深度前馈、非线性、参数化的神经网络滤波器，从原始词嵌入中学习去噪矩阵。
• 对于CompEmb，滤波器将原始嵌入投影到维度相同的去噪空间中，保持向量长度不变。
• 对于OverCompEmb，稀疏编码在滤波前将原始嵌入转换为过完备表示，从而生成更高维的去噪向量。
• 滤波器通过重建损失端到端训练，以最小化输入与滤波输出之间的差异。
• 网络架构采用固定深度T，每一层通过多阶段近似输入来逐步优化去噪过程。
• 模型在基准数据集上使用余弦相似度进行评估，性能通过Spearman等级相关系数和准确率衡量。

实验结果

研究问题

• RQ1 是否能够通过神经网络滤波器在不使用外部词汇资源的情况下有效减少预训练词嵌入中的噪声？
• RQ2 去噪是否能提升在词相似性、相关性及同义词检测任务上的性能？
• RQ3 滤波器网络的深度如何影响去噪嵌入的质量？
• RQ4 与完整表示相比，过完备表示策略在捕捉语义结构方面是否更有效？
• RQ5 所提出的去噪方法是否能在诸如名词短语分类等多样化自然语言处理任务中实现泛化？

主要发现

• CompEmb和OverCompEmb生成的去噪嵌入在词相似性和相关性任务上均优于原始词嵌入，在MEN、WordSim-353和SimLex-999数据集上Spearman相关系数均有提升。
• 在TOEFL同义词检测数据集上，当滤波器深度T=3时，同义词检测准确率从基线的63.2%提升至88.6%，表现出显著的性能增益。
• 滤波器深度超过T=3后性能出现下降，表明过度滤波会抹除关键的语义信息。
• OverCompEmb模型在大多数基准测试中表现优于CompEmb，表明过完备表示能增强去噪的有效性。
• 该方法在使用RBF核SVM的名词短语括号化任务中提升了分类准确率，表明其在不同自然语言处理任务中具有鲁棒性。
• 模型的实现代码已公开发布于GitHub，支持可复现性和进一步研究。