[论文解读] Summarizing, Simplifying, and Synthesizing Medical Evidence Using GPT-3 (with Varying Success)

Chantal Shaib, Millicent Li+4 more|arXiv (Cornell University)|May 10, 2023

Topic Modeling被引用 4

一句话总结

本研究在零样本设置下，利用专家标注的数据评估了GPT-3在总结、简化和综合临床试验生物医学证据方面的能力。尽管GPT-3能够生成事实准确的单文档摘要和通俗语言的简化版本，但在多文档证据综合方面表现不佳，常产生不准确或具有误导性的多份试验结果聚合。

ABSTRACT

Large language models, particularly GPT-3, are able to produce high quality summaries of general domain news articles in few- and zero-shot settings. However, it is unclear if such models are similarly capable in more specialized, high-stakes domains such as biomedicine. In this paper, we enlist domain experts (individuals with medical training) to evaluate summaries of biomedical articles generated by GPT-3, given zero supervision. We consider both single- and multi-document settings. In the former, GPT-3 is tasked with generating regular and plain-language summaries of articles describing randomized controlled trials; in the latter, we assess the degree to which GPT-3 is able to \emph{synthesize} evidence reported across a collection of articles. We design an annotation scheme for evaluating model outputs, with an emphasis on assessing the factual accuracy of generated summaries. We find that while GPT-3 is able to summarize and simplify single biomedical articles faithfully, it struggles to provide accurate aggregations of findings over multiple documents. We release all data and annotations used in this work.

研究动机与目标

• 评估GPT-3在零样本设置下生成生物医学文献事实准确摘要的能力。
• 评估GPT-3生成技术性临床试验摘要通俗语言简化版本的能力。
• 探究GPT-3将多份临床试验摘要中的研究发现综合成连贯、基于证据的摘要的能力。
• 识别大语言模型生成医学摘要时常见的事实性错误及其在高风险医疗场景中的相关风险。

提出的方法

• 使用GPT-3（text-davinci-003）从100份随机对照试验摘要和50份系统综述中生成技术性摘要和通俗语言摘要。
• 采用由领域专家设计的自定义标注方案，评估摘要的事实性、流畅性和实用性。
• 使用Label Studio收集300份标注（每份样本3份），重点关注PICO要素（人群、干预措施、对照组、结局）。
• 针对令牌长度限制，实施两阶段策略以处理多文档摘要任务。
• 采用李克特量表和自由文本标注，评估语言质量、可读性和事实一致性。
• 发布所有模型输出和标注数据，以支持未来医学大语言模型评估研究。

Figure 2: Average scores for assessing overall faithfulness, coherence, and usefulness of generated (a) regular summaries and (b) simplified summaries. GPT3-D3 produces high-quality regular and simplified summaries.

实验结果

研究问题

• RQ1 RQ1：GPT3-D3是否能在零样本设置下生成对医学文献忠实的摘要？
• RQ2 RQ2：GPT3-D3能否在保留事实内容的前提下准确简化技术性摘要？
• RQ3 RQ3：GPT3-D3能否将多份临床试验摘要的研究发现综合成准确、基于证据的摘要？
• RQ4 RQ4：GPT3-D3会产生哪些类型的事实性错误？在高风险医疗场景中存在哪些相关风险？

主要发现

• GPT-3为单份临床试验摘要生成了事实准确且流畅的技术性摘要，PICO要素的遗漏或错误极少。
• GPT-3成功将技术性摘要简化为通俗语言，大多数简化版本保留了关键信息并提升了可读性。
• 在多文档场景中，GPT-3频繁未能准确聚合证据，常引入事实性不一致或错误描述证据强度。
• 该模型在综合多份研究时，倾向于过度简化或错误描述干预措施的相对有效性。
• 标注者在22%的多文档摘要中识别出重大事实性错误，包括关于治疗效果的错误声明以及关键结局数据的缺失。
• 尽管在单文档任务中表现优异，但GPT-3在跨多份研究可靠综合证据方面的能力不足，给临床决策支持应用带来重大风险。

Figure 3: Average number of errors and omissions made in the generated (a) regular and (b) simplified summaries. Most mistakes made in both cases are minor, and omissions are more frequent than errors.