[论文解读] Towards Open-Text Semantic Parsing via Multi-Task Learning of Structured Embeddings

Antoine Bordes, Xavier Glorot+2 more|arXiv (Cornell University)|Jul 19, 2011

Natural Language Processing Techniques参考文献 33被引用 4

一句话总结

本文提出了一种多任务学习框架，利用结构化嵌入通过联合训练 WordNet、ConceptNet 和原始文本，在极少直接监督的情况下，实现从自由文本中进行消歧义意义表示（MR）推理。该模型在词义消歧和 MR 排名任务中表现优异，预测 MR 的中位排名为 516/41,024，正确 MR 的中位排名为 640/41,024，证明了词汇、常识和句法知识的有效整合。

ABSTRACT

Open-text (or open-domain) semantic parsers are designed to interpret any statement in natural language by inferring a corresponding meaning representation (MR). Unfortunately, large scale systems cannot be easily machine-learned due to lack of directly supervised data. We propose here a method that learns to assign MRs to a wide range of text (using a dictionary of more than 70,000 words, which are mapped to more than 40,000 entities) thanks to a training scheme that combines learning from WordNet and ConceptNet with learning from raw text. The model learns structured embeddings of words, entities and MRs via a multi-task training process operating on these diverse sources of data that integrates all the learnt knowledge into a single system. This work ends up combining methods for knowledge acquisition, semantic parsing, and word-sense disambiguation. Experiments on various tasks indicate that our approach is indeed successful and can form a basis for future more sophisticated systems.

研究动机与目标

• 通过从原始文本中学习意义表示（MR），在无需大规模人工标注数据的情况下，实现开放域语义解析。
• 通过利用在多样化知识源上训练的结构化嵌入，解决大规模词义消歧（WSD）的挑战。
• 在单一向量空间中统一表示 MR、WordNet 同义词集（synsets）和 ConceptNet 关系，以支持联合学习与推理。
• 通过原始文本挖掘发现新的、上下文相关的关联，以丰富现有知识库（如 WordNet）。
• 开发一种可扩展的端到端系统，能够使用间接监督为任意自然语言句子分配消歧义的 MR。

提出的方法

• 该模型使用结构化嵌入框架，将词语、实体（同义词集）和意义表示（MR）表示为共享空间中的低维向量。
• 采用基于能量的评分函数来评估 MR 的合理性，能量越低表示可能性越高。
• 在三个数据源上进行多任务训练：WordNet（用于词义定义和关系）、ConceptNet（用于常识关系）和原始维基百科文本（用于上下文用法）。
• 系统采用两阶段推理：首先，语义角色标注（SRL）识别 MR 的结构；其次，词义消歧使用能量函数为每个词基选择正确的同义词集。
• 通过在所有数据源上联合优化能量函数，使模型能够将 WordNet 和 ConceptNet 的知识迁移至原始文本。
• 通过识别 WordNet 或 ConceptNet 中不存在的、上下文有效的词基与同义词集之间的新关系，实现知识增强。

实验结果

研究问题

• RQ1 单一结构化嵌入模型是否能有效利用间接监督，从原始文本中推断出消歧义的意义表示？
• RQ2 在 WordNet、ConceptNet 和原始文本之间进行多任务学习，在开放域设置下在词义消歧和 MR 预测方面能提升到何种程度？
• RQ3 该模型在未见过的词义组合上泛化能力如何，能否在未显式训练的情况下生成合理的 MR？
• RQ4 该模型能否发现并编码现有知识库中不存在的、非平凡的实体间关系？
• RQ5 基于能量的评分函数与 WordNet::Similarity 等现有方法相比，在正确 MR 排名方面表现如何？

主要发现

• 在 XWN 测试集上，预测意义表示的中位排名为 516/41,024，表明模型具备强大的泛化能力和合理的评分能力。
• 正确 MR 的中位排名为 640/41,024，表明模型能有效学习将较低能量分配给语义上有效的 MR。
• 与 WordNet::Similarity（中位排名 13,500/41,024）相比，该模型表现显著更优，原因在于其能够学习到 WordNet 有限关系类型之外的更丰富、上下文敏感的关系。
• 系统成功发现并报告了 WordNet 或 ConceptNet 中不存在的新关系类型，例如 'earn' 将 'students' 与 'money' 关联，展示了知识增强的潜力。
• 与 TextRunner 相比，该模型提供消歧义的实体链接，并与现有知识库集成，而 TextRunner 缺乏词义消歧和对外部资源的关联。
• 多任务学习设置实现了从结构化知识库到原始文本的知识有效迁移，实现了在极少直接监督下的稳健且可扩展的语义解析。