[论文解读] Nutribullets Hybrid: Multi-document Health Summarization

Darsh Shah, Lili Yu+2 more|arXiv (Cornell University)|Apr 8, 2021

Topic Modeling参考文献 33被引用 5

一句话总结

本文提出 Nutribullets Hybrid，一种用于多文档健康摘要的混合神经符号框架，通过将内容选择（基于提取关系的确定性规则）与表面实现（通过文本填空语言模型）分离，生成忠实且具备聚合敏感性的摘要。与最先进基线相比，其在聚合认知度上提升20%，相关性提升7%，忠实度提升7%，尤其在营养研究等低资源、不一致的健康领域表现更优。

ABSTRACT

We present a method for generating comparative summaries that highlights similarities and contradictions in input documents. The key challenge in creating such summaries is the lack of large parallel training data required for training typical summarization systems. To this end, we introduce a hybrid generation approach inspired by traditional concept-to-text systems. To enable accurate comparison between different sources, the model first learns to extract pertinent relations from input documents. The content planning component uses deterministic operators to aggregate these relations after identifying a subset for inclusion into a summary. The surface realization component lexicalizes this information using a text-infilling language model. By separately modeling content selection and realization, we can effectively train them with limited annotations. We implemented and tested the model in the domain of nutrition and health -- rife with inconsistencies. Compared to conventional methods, our framework leads to more faithful, relevant and aggregation-sensitive summarization -- while being equally fluent.

研究动机与目标

• 为解决低资源健康领域中研究常存在矛盾或一致结论的比较性摘要缺失问题。
• 开发一种能明确突出多份医学文献间共识与矛盾的摘要系统。
• 通过将内容选择与表面实现解耦，减少对大规模平行训练数据的依赖。
• 实现在新增研究时有效更新摘要，同时保留并整合先前信息。
• 提升摘要的忠实度与聚合敏感性，尤其在营养等研究间高度不一致的领域。

提出的方法

• 该模型首先使用基于CRF的实体抽取器和基于BERT的关系分类器，从输入的PubMed文档中提取实体-关系三元组。
• 内容选择组件应用确定性聚合操作符（如共识、矛盾）以识别关键关系及其比较关系。
• 表面实现组件利用文本填空语言模型，从结构化的关系输出生成流畅自然的摘要。
• 系统通过有限的平行标注数据进行端到端训练，分别对关系三元组优化内容选择，对大规模文本优化表面实现。
• 该架构支持人工介入控制，允许在不重新训练整个模型的前提下注入新的聚合规则和推理逻辑。
• 该框架支持摘要更新，通过融合新信息，同时保留并正确关联旧有发现。

实验结果

研究问题

• RQ1 在低资源健康摘要任务中，混合神经符号方法是否能生成比端到端神经模型更忠实且更具聚合敏感性的摘要？
• RQ2 在标注数据有限的情况下，系统在多份健康研究间检测并表示共识与矛盾的能力如何？
• RQ3 当由结构化关系内容引导时，文本填空语言模型在多大程度上能生成流畅且事实准确的摘要？
• RQ4 当引入新的、可能具有冲突的研究时，模型能否有效更新现有摘要？
• RQ5 将内容选择与表面实现分离，是否能提升多文档摘要中的忠实度与聚合认知度？

主要发现

• 该模型在聚合认知度上比次优基线高出20%，展现出更强的共识与矛盾检测及表示能力。
• 在标准和更新设置下，其内容相关性较最先进基线提升7%，对输入文档的忠实度也提升7%。
• 信息抽取管道在实体抽取上达到79%的F1值，关系分类准确率达69%，聚合操作符识别准确率为78%。
• 系统在摘要更新任务中保持高性能，能正确融合新信息，同时保留并准确关联先前发现。
• 人工评估确认，与自回归或复制生成基线相比，该模型生成的摘要更具相关性、忠实度，且对比较关系更敏感。
• 混合设计在有限平行数据下表现稳健，尽管与序列到序列模型在流畅度上相近，但在忠实度与聚合意识方面表现更优。