[论文解读] Word Embedding Visualization Via Dictionary Learning

Juexiao Zhang, Yubei Chen+2 more|arXiv (Cornell University)|Oct 9, 2019

Topic Modeling参考文献 33被引用 8

一句话总结

本文提出通过字典学习将预训练词嵌入分解为可解释的、语义上有意义的因子，从而实现词向量的可视化，并提升词类比任务的性能。通过从词向量中学习稀疏、低秩的成分，该方法揭示了潜在的语义与句法结构，通过因子分组选择，在多种词嵌入模型和类比子任务中显著提升了准确率。

ABSTRACT

Co-occurrence statistics based word embedding techniques have proved to be very useful in extracting the semantic and syntactic representation of words as low dimensional continuous vectors. In this work, we discovered that dictionary learning can open up these word vectors as a linear combination of more elementary word factors. We demonstrate many of the learned factors have surprisingly strong semantic or syntactic meaning corresponding to the factors previously identified manually by human inspection. Thus dictionary learning provides a powerful visualization tool for understanding word embedding representations. Furthermore, we show that the word factors can help in identifying key semantic and syntactic differences in word analogy tasks and improve upon the state-of-the-art word embedding techniques in these tasks by a large margin.

研究动机与目标

• 开发一种方法，用于可视化和解释连续词嵌入的内部结构，因为这些嵌入通常因向量维度不可解释而显得不透明。
• 自动发现词向量背后的基元语义与句法因子，避免手动选择词对。
• 通过将这些学习到的因子用作选择标准（超越余弦相似度），提升词类比任务的性能。
• 验证所发现的因子是否能捕捉可靠的语义差异，从而支持对模型偏差和错误的诊断。
• 探索词因子作为构建新型、更精细的词类比任务的基础，超越现有基准的可能性。

提出的方法

• 将非负稀疏编码（NSC）重新表述，以允许连续的、非二值的系数，从而实现更灵活且有意义的因子表示。
• 应用谱聚类将相关因子分组为更高层级的语义类别，如“女性”、“水果”或“移动&信息技术”。
• 在多个模型（如Word2Vec、FastText、GloVe）的词向量上训练字典学习，以提取一组共享的基元因子。
• 利用学习到的因子将每个词向量分解为激活因子的线性组合，并附带相应的权重。
• 引入因子分组选择方法：不仅根据嵌入空间中的接近度选择答案，还根据相关语义因子组的高激活度进行选择。
• 通过确保预测词与预期的语义因子特征一致，应用该方法诊断并纠正词类比任务中的错误。

实验结果

研究问题

• RQ1 字典学习能否自动从预训练词嵌入中发现可解释的语义与句法因子？
• RQ2 所学习到的因子是否与通过人工检查已识别出的有意义语言概念相对应？
• RQ3 基于因子的选择能否在词类比任务上超越标准向量相似度，实现性能提升？
• RQ4 所发现的因子在不同词嵌入模型和训练语料上是否具有鲁棒性？
• RQ5 因子分解能否揭示并纠正词嵌入模型中的系统性偏差或错误？

主要发现

• 字典学习成功提取出145个可解释的词因子，包括“女性”、“水果”、“移动&信息技术”和“生物体”，均具有清晰的语义与句法意义。
• 该方法使得词向量可被有意义地可视化为因子的线性组合，例如“apple”由“水果”（0.16）、“甜点”（0.09）和“生物体”（0.11）组成。
• 应用因子分组选择后，词类比任务的性能平均提升达28%，在“意识形态”和“职业”等子任务上提升20–30个百分点。
• 该方法降低了在具有挑战性的类比任务中的错误率——例如，“wife - husband + policeman”在基于因子的过滤下能正确预测为“policewoman”。
• 该方法在不同模型间具有泛化能力：FastText和GloVe均表现出一致的性能提升，FastText在“意识形态”任务上的准确率经因子选择后达到85.50%。
• 因子分解揭示出词向量由一组稀疏的基元语义成分组成，支持了“话语原子”和语义元理论的观点。