[论文解读] Sparse Overcomplete Word Vector Representations

Manaal Faruqui, Yulia Tsvetkov+3 more|arXiv (Cornell University)|Jun 5, 2015

Natural Language Processing Techniques参考文献 54被引用 11

一句话总结

本文提出了一种原则性的稀疏编码方法，将密集词向量转换为稀疏、过完备且可选二值化的表示形式，从而提升可解释性与性能。该方法在基准自然语言处理任务上优于原始密集向量，同时生成的向量与符号词汇语义更一致，且更易于分析。

ABSTRACT

Current distributed representations of words show little resemblance to theories of lexical semantics. The former are dense and uninterpretable, the latter largely based on familiar, discrete classes (e.g., supersenses) and relations (e.g., synonymy and hypernymy). We propose methods that transform word vectors into sparse (and optionally binary) vectors. The resulting representations are more similar to the interpretable features typically used in NLP, though they are discovered automatically from raw corpora. Because the vectors are highly sparse, they are computationally easy to work with. Most importantly, we find that they outperform the original vectors on benchmark tasks.

研究动机与目标

• 弥合分布式词向量与依赖离散、可解释特征的符号词汇语义理论之间的差距。
• 开发一种方法，能从原始文本中自动发现稀疏、可解释的特征，而无需外部知识。
• 在保持或提升下游自然语言处理任务性能的同时，提升词表示的计算效率与可解释性。
• 评估稀疏、过完备向量是否比密集向量更易于人类理解。
• 证明稀疏表示可作为统计自然语言处理模型中有效且可分析的特征。

提出的方法

• 应用稀疏编码将密集输入词向量转换为稀疏过完备表示，通过L1正则化优化问题实现。
• 采用字典学习框架，其中每个词向量被重建为从学习得到的字典中选取的基向量的稀疏线性组合。
• 对激活矩阵施加ℓ₁惩罚以强制实现稀疏性，激活维度数量远小于原始向量长度。
• 通过阈值化将所得稀疏向量投影到二值空间，生成二值过完备词向量。
• 对每个词向量并行优化重构误差与稀疏性惩罚，以实现可扩展性。
• 采用非负稀疏编码变体，以确保基向量非负，从而增强可解释性。

实验结果

研究问题

• RQ1 能否直接从原始文本中学习稀疏、过完备的词向量表示，而无需外部知识，且是否能提升可解释性？
• RQ2 稀疏与二值词向量是否在标准自然语言处理基准任务上优于密集词向量？
• RQ3 与密集向量相比，所得稀疏向量是否更易于人类理解？
• RQ4 稀疏程度与过完备性如何影响下游自然语言处理应用中的性能与稳定性？
• RQ5 稀疏、二值表示能否作为统计自然语言处理模型中的有效、可分析特征？

主要发现

• 所提出的稀疏编码方法在多个标准自然语言处理基准任务上，相较于原始密集词向量，始终表现出更优的性能。
• 所得词向量的稀疏度超过90%，显著提升了可解释性与计算效率。
• 在人类词干扰实验中，稀疏向量的二值版本被证明比密集向量更具可解释性。
• 该方法在评估任务上实现了最先进性能，且不依赖外部知识源。
• 稀疏、过完备表示在保持强性能的同时，提供了更高的透明度，有利于错误分析与模型开发。
• 该方法表明，稀疏性可作为一种强大的归纳偏置，在自然语言处理中同时提升性能与可解释性。