[论文解读] Two Discourse Driven Language Models for Semantics

Haoruo Peng, Dan Roth|arXiv (Cornell University)|Jun 17, 2016

Topic Modeling参考文献 42被引用 6

一句话总结

本文提出了两种基于话语的语义语言模型——框架链语义语言模型（Frame-Chain SemLM）和以实体为中心的语义语言模型（Entity-Centered SemLM），通过神经嵌入抽象语义框架和话语标记，以捕捉深层语义知识。在困惑度和叙事完形测试中进行评估，并应用于共指消解和浅层话语解析任务，模型在性能上超越了当前最先进水平，尤其在使用对数双线性嵌入和话语感知建模时表现更优。

ABSTRACT

Natural language understanding often requires deep semantic knowledge. Expanding on previous proposals, we suggest that some important aspects of semantic knowledge can be modeled as a language model if done at an appropriate level of abstraction. We develop two distinct models that capture semantic frame chains and discourse information while abstracting over the specific mentions of predicates and entities. For each model, we investigate four implementations: a "standard" N-gram language model and three discriminatively trained "neural" language models that generate embeddings for semantic frames. The quality of the semantic language models (SemLM) is evaluated both intrinsically, using perplexity and a narrative cloze test and extrinsically - we show that our SemLM helps improve performance on semantic natural language processing tasks such as co-reference resolution and discourse parsing.

研究动机与目标

• 通过抽象化谓词和实体，建模超越句法结构的深层语义知识。
• 将话语标记和语义框架链整合进语言建模，以提升上下文理解能力。
• 评估语义语言模型（SemLM）是否能提升下游自然语言处理任务（如共指消解和话语解析）的性能。
• 探究话语信息对语义建模质量及下游任务性能的影响。
• 证明语义框架的神经嵌入可提升语义语言建模中的泛化能力和表征能力。

提出的方法

• 框架链语义语言模型将消歧后的语义框架和话语标记序列建模为链式结构，使用PropBank/FrameNet的语义角色标签。
• 以实体为中心的语义语言模型在单个共指链内建模框架序列，并用论元角色标签（如'rob.01#obj'）标注框架。
• 采用四种实现方式：n-gram、跳字模型（skip-gram）、连续词袋模型（CBOW）以及对数双线性神经语言模型，后三者生成框架嵌入。
• 利用训练好的语义语言模型生成的条件概率和嵌入作为下游任务（如共指消解和话语解析）的特征。
• 模型在纽约时报和Ontonotes/PropBank标注数据上进行训练与评估，并通过消融实验移除话语标记以检验其必要性。
• 评估方法包括困惑度、叙事完形测试，以及在标准基准（ACE04、CoNLL12、CoNLL16）上应用于共指消解和话语解析任务。

实验结果

研究问题

• RQ1 话语感知的语义语言模型能否捕捉超越句法模式的深层语义知识？
• RQ2 在建模语义框架和话语标记时，不同神经语言模型架构（如对数双线性、跳字模型）的性能表现如何？
• RQ3 在多大程度上，整合话语标记能提升语义语言模型的质量与实用性？
• RQ4 语义语言模型特征能否提升共指消解和浅层话语解析任务的最先进性能？
• RQ5 话语信息的引入是否对有效语义语言建模至关重要？

主要发现

• 在CoNLL12数据集上，对数双线性语义语言模型实现相比基线三元语法模型，共指消解F1值提升了0.4–0.5个百分点。
• 使用对数双线性嵌入的以实体为中心的语义语言模型特征，在CoNLL12上超越了已报告的最佳结果，实现了最先进性能。
• 训练过程中移除话语标记导致性能下降，证明话语信息对有效语义建模至关重要。
• 语义语言模型在显式和隐式话语连接词意义分类任务中均提升了性能，且在显式连接词上的增益更显著。
• 语义语言模型生成的框架嵌入和条件概率特征显著提升了话语解析结果，尤其在与对数双线性模型结合时效果更佳。
• 困惑度和叙事完形测试结果表明，语义语言模型在语义和话语结构上实现了高质量的抽象与泛化。