[论文解读] Paraphrase to Explicate: Revealing Implicit Noun-Compound Relations

Vered Shwartz, Ido Dagan|arXiv (Cornell University)|May 7, 2018

Natural Language Processing Techniques参考文献 29被引用 5

一句话总结

本文提出一种神经半监督模型，通过将名词复合词的两个成分及释义模板表示为连续向量，实现对未见或罕见复合词的更好泛化。通过联合训练以从复合词预测释义，或从释义和一个成分预测缺失成分，该模型在低资源和词汇划分设置下，提升了释义与分类任务的性能。

ABSTRACT

Revealing the implicit semantic relation between the constituents of a noun-compound is important for many NLP applications. It has been addressed in the literature either as a classification task to a set of pre-defined relations or by producing free text paraphrases explicating the relations. Most existing paraphrasing methods lack the ability to generalize, and have a hard time interpreting infrequent or new noun-compounds. We propose a neural model that generalizes better by representing paraphrases in a continuous space, generalizing for both unseen noun-compounds and rare paraphrases. Our model helps improving performance on both the noun-compound paraphrasing and classification tasks.

研究动机与目标

• 解决现有方法在解释名词复合词中隐含语义关系方面的挑战，这些关系在自然语言中很常见但难以泛化。
• 通过在连续向量空间中建模释义而非依赖语料共现，提升对罕见或未见名词复合词的泛化能力。
• 通过联合学习框架（预测释义或缺失成分）提升名词复合词释义与分类任务的性能。
• 探究连续向量表示的释义模板是否能更好地捕捉选择性偏好，并实现有效的零样本推理。
• 评估模型在低资源设置下的泛化能力，特别是当训练期间成分或关系未见时。

提出的方法

• 该模型使用双向LSTM（biLSTM）将名词复合词的成分和释义模板编码为连续向量表示。
• 在两个目标上进行训练：(1) 给定名词复合词预测释义（例如，'apple cake' → 'made of [w1]'），(2) 给定释义和一个成分预测缺失成分（例如，'[w2] made of [w1]' + 'cake' → 'apple'）。
• 释义模板被嵌入共享的连续空间中，语义相似的模板在空间中位置接近，从而通过向量相似性实现泛化。
• 该模型利用词语的分布表示，并通过联合训练学习选择性偏好，使其即使在成分未在训练数据中共现时，也能推断出合理的释义。
• 训练期间引入负样本（如'无关'模板）以模拟非组合性复合词，提升鲁棒性。
• 该模型将分布表示与基于释义的预测相结合，整合两种信号以提升分类性能。

实验结果

研究问题

• RQ1 经过同时预测释义和缺失成分训练的神经模型，是否比现有基于共现的方法在未见名词复合词上具有更好的泛化能力？
• RQ2 释义模板的连续向量表示在多大程度上提升了对罕见或未见复合词的零样本性能？
• RQ3 与单独训练相比，联合训练目标在多大程度上提升了释义与分类任务的性能？
• RQ4 该模型能否有效区分组合性与非组合性名词复合词？其失败模式是什么？
• RQ5 结合基于释义和分布表示的模型是否能带来更优的分类性能，尤其是在词汇划分场景下？

主要发现

• 该模型在名词复合词释义任务上达到最先进性能，尤其在零样本设置下（训练时未见成分）表现突出。
• 在分类任务中，集成模型在Tratz-Coarse词汇划分的'topical'关系上比仅使用分布表示的模型高出11.1 F1分，在'objective'关系上高出5.5 F1分。
• 释义组件显著提升了分类性能，尤其在词汇划分场景下，证明其在低资源场景下的价值。
• 该模型能成功为未见复合词（如'parsley cake'和'resignation cake'）检索出合理的释义，即使这些成分未在训练语料中共现。
• 该模型在习语或非组合性复合词（如'silver spoon'、'monkey business'）上表现不佳，常赋予看似合理但错误的具体解释。
• '无关'释义很少被预测为非组合性复合词，表明其检测非组合性的能力有限，提示该模型应仅用于组合性复合词。