[论文解读] Path-based vs. Distributional Information in Recognizing Lexical Semantic Relations

Vered Shwartz, Ido Dagan|arXiv (Cornell University)|Aug 17, 2016

Natural Language Processing Techniques参考文献 23被引用 14

一句话总结

本文提出 LexNET，一种将路径特征与分布表示相结合的神经网络模型，用于多类别词汇语义关系识别。通过融合依存路径表征与词嵌入，LexNET 在多个数据集上优于单一方法，证明路径特征能持续提升性能，尤其在罕见词和关系特异性模式下表现更优。

ABSTRACT

Recognizing various semantic relations between terms is beneficial for many NLP tasks. While path-based and distributional information sources are considered complementary for this task, the superior results the latter showed recently suggested that the former's contribution might have become obsolete. We follow the recent success of an integrated neural method for hypernymy detection (Shwartz et al., 2016) and extend it to recognize multiple relations. The empirical results show that this method is effective in the multiclass setting as well. We further show that the path-based information source always contributes to the classification, and analyze the cases in which it mostly complements the distributional information.

研究动机与目标

• 探究尽管分布表示方法近期占据主导地位，路径特征在语义关系识别中是否仍具价值。
• 将 HypeNET 神经网络模型从超类检测扩展至多类别设置，以识别多样化的词汇语义关系。
• 在统一的神经网络框架中评估路径特征与分布表示的互补贡献。
• 分析路径特征相较于仅依赖分布信号时提供独特优势的场景。

提出的方法

• 利用词对之间的依存路径作为结构特征，通过在路径组件上应用平均池化操作的神经网络进行表示。
• 将预训练词嵌入（如 GloVe 或 word2vec）作为每个词的分布表示。
• 通过全连接神经网络中的拼接或交互层，结合路径表示与分布表示以进行分类。
• 采用多类别分类头预测语义关系，如超类关系、整体-部分关系及同超类关系。
• 在多个数据集上使用共享架构，实现部分场景下的零样本或少样本泛化。
• 应用 Dropout 和 ReLU 激活函数以提升泛化能力并防止过拟合。

实验结果

研究问题

• RQ1 当分布表示方法占据主导地位时，路径特征是否仍对语义关系分类有贡献？
• RQ2 统一的神经网络模型能否有效结合路径特征与分布表示，以实现多类别语义关系识别？
• RQ3 在哪些情况下，路径特征能提供超越分布表示的互补信号？
• RQ4 在分布信号较弱的罕见词或歧义词上，模型表现如何？
• RQ5 路径与分布表示的融合是否在多样化的数据集上均带来一致性的性能提升？

主要发现

• LexNET 在 CogALex 2016 共享任务的语义关系分类中达到最先进性能。
• 路径特征在所有评估数据集上均持续提升分类准确率，即使在分布表示占主导时亦然。
• 模型在罕见词和多义词上表现尤为突出，这些情况下分布表示的可靠性较低。
• 路径特征在捕捉词项之间的关系结构方面尤为有效，而非单个词的属性。
• 融合两种信息源相比单独使用任一来源，均展现出更优的泛化能力与鲁棒性。
• 在涉及句法或语义关系且难以仅通过词嵌入捕捉的场景中，路径特征的贡献最为显著。