[论文解读] Probabilistic Frame Induction

Jackie Chi Kit Cheung, Hoifung Poon+1 more|arXiv (Cornell University)|Feb 20, 2013

Natural Language Processing Techniques参考文献 25被引用 84

一句话总结

该论文提出 ProFinder，这是首个将框架、事件和参与者建模为潜在主题的概率性框架归纳方法，采用分裂-合并方法动态推断框架数量。该方法在 MUC 和 TAC 基准上的端到端实体抽取任务中取得了最先进性能，且仅需极少工程工作，无需外部数据。

ABSTRACT

In natural-language discourse, related events tend to appear near each other to describe a larger scenario. Such structures can be formalized by the notion of a frame (a.k.a. template), which comprises a set of related events and prototypical participants and event transitions. Identifying frames is a prerequisite for information extraction and natural language generation, and is usually done manually. Methods for inducing frames have been proposed recently, but they typically use ad hoc procedures and are difficult to diagnose or extend. In this paper, we propose the first probabilistic approach to frame induction, which incorporates frames, events, participants as latent topics and learns those frame and event transitions that best explain the text. The number of frames is inferred by a novel application of a split-merge method from syntactic parsing. In end-to-end evaluations from text to induced frames and extracted facts, our method produced state-of-the-art results while substantially reducing engineering effort.

研究动机与目标

• 解决手动构建框架和临时性框架归纳方法存在的局限性，这些方法需要大量工程工作且难以扩展。
• 开发一种统一的概率框架，联合建模话语中的框架、事件、参与者及其转换关系。
• 通过在句法解析中新颖应用分裂-合并方法，实现框架数量的动态推断。
• 通过从原始文本中实现端到端学习，减少对外部数据和人工标注的依赖。
• 通过无监督框架归纳提升信息抽取和自然语言生成任务中的可扩展性和泛化能力。

提出的方法

• 在词语和框架分配的联合概率分布中，将框架、事件和参与者建模为潜在主题。
• 使用概率生成模型，捕捉事件转换、事件与槽位之间的相关性以及表面实现形式。
• 应用分裂-合并 MCMC 方法动态推断框架数量，避免预先指定框架数量。
• 通过在文档集合上的联合推断学习框架参数和最可能的框架分配。
• 采用 N 对 1 映射策略将识别出的实体聚类映射到 TAC 槽位，以提高召回率，尤其在通用槽位上表现更优。
• 通过在摘要数据上的两折交叉验证调整超参数，评估时假设使用黄金主题分类。

实验结果

研究问题

• RQ1 是否能够通过统一的概率模型，从原始文本中无须人工模板地联合推断框架、事件、参与者及转换关系？
• RQ2 在无监督设置下，如何自动确定框架数量而无需预先指定？
• RQ3 概率性框架归纳模型是否能在端到端实体抽取任务中超越现有的基于聚类的临时方法？
• RQ4 该模型在缺乏外部知识或种子示例的情况下，跨多样化领域具有多大程度的泛化能力？
• RQ5 当框架粒度变化时，N 对 1 映射策略对槽位对齐的召回率和 F1 值有何影响？

主要发现

• ProFinder 在 MUC-4 和 TAC 2010 实体抽取基准上均取得了最先进 F1 分数，其在召回率和 F1 上均优于先前最先进方法（C&J）。
• 在 TAC 2010 上，ProFinder 在 5 对 1 映射下取得 27 的 F1（精确率 21，召回率 38），优于 C&J 的 20 F1（精确率 50，召回率 12），且在相同条件下表现更优。
• 即使在 1 对 1 映射下，ProFinder 的 F1（24）也超过 C&J 的 F1（11），表明其在 C&J 因小聚类导致高精确率的情况下仍具备更强鲁棒性。
• 该模型通过消除对外部语料库、种子词或人工特征工程的需求，显著降低了工程工作量。
• 分裂-合并方法成功实现了无需预设框架数量的框架数量推断，从而实现了可扩展且自适应的框架归纳。
• 该方法在跨领域任务中表现出强大的泛化能力，性能提升可归因于话语级依赖关系与潜在主题的联合建模。