[论文解读] Towards more patient friendly clinical notes through language models and ontologies

Francesco Moramarco, Damir Jurić+9 more|arXiv (Cornell University)|Dec 23, 2021

Text Readability and Simplification被引用 11

一句话总结

本文提出了一种新颖的方法，通过在医学论坛数据上微调的语言模型以及结合了通俗术语的综合性医学本体论，简化临床笔记。通过将词频与语言模型概率整合到统一的评分函数中，该方法生成语法正确、语义保留的简化版本，在人工评估中优于最先进模型，达到75.4%的语法正确率和93.4%的语义保留率。

ABSTRACT

Clinical notes are an efficient way to record patient information but are notoriously hard to decipher for non-experts. Automatically simplifying medical text can empower patients with valuable information about their health, while saving clinicians time. We present a novel approach to automated simplification of medical text based on word frequencies and language modelling, grounded on medical ontologies enriched with layman terms. We release a new dataset of pairs of publicly available medical sentences and a version of them simplified by clinicians. Also, we define a novel text simplification metric and evaluation framework, which we use to conduct a large-scale human evaluation of our method against the state of the art. Our method based on a language model trained on medical forum data generates simpler sentences while preserving both grammar and the original meaning, surpassing the current state of the art.

研究动机与目标

• 为解决通过自动简化复杂医学术语使临床笔记对患者更具可及性的问题。
• 解决用于评估医学文本简化的高质量、公开可用数据集缺乏的问题。
• 开发一个以语法正确性和语义保留为优先的稳健评估框架，而非表面指标。
• 创建一种可扩展的、基于本体论的简化方法，在保持医学准确性的同时提升可读性。
• 证明在真实医学话语上训练的语言模型优于基于规则或模板驱动的方法。

提出的方法

• 该方法使用包含复杂术语通俗等价词的医学本体论，其来源为SNOMED-CT及其他数据源。
• 提出一种新颖的评分函数，结合词频与语言模型概率，对候选简化版本进行排序。
• 在匿名化的医学论坛数据上微调一个从左到右、无上下文限制的语言模型（GPT-1），以生成流畅且上下文感知的简化版本。
• 系统执行迭代简化，每一步均使用评分函数选择最优的术语替换。
• 通过限制迭代次数和检测循环来强制收敛，尤其针对GPT-2等倾向于增加句子长度的模型。
• 采用由语言学家和临床医生参与的人工评估框架，在1,250个样本的测试集上评估语法正确性和语义保留性。

实验结果

研究问题

• RQ1 在真实医学论坛数据上微调的语言模型能否在保留语义的前提下生成更简单、更易读的临床笔记？
• RQ2 将词频与语言模型概率结合，相比基于规则或短语表的方法，如何提升简化质量？
• RQ3 不同模型在医学文本简化中在语法正确性和语义准确性方面的保留程度如何？
• RQ4 基于人工标注的定制化评估框架是否优于BLEU和SARI等标准自动指标？
• RQ5 能否有效利用包含通俗术语的医学本体论来提升简化效果，同时不牺牲临床准确性？

主要发现

• 所提方法在人工标注的测试集上实现了75.4%的语法正确率（G1）和93.4%的语义保留率，优于所有基线模型。
• GPT-1——一种在医学论坛数据上微调的从左到右语言模型——在人工评估中产生了最高质量的简化版本。
• NTS基线尽管BLEU得分较高，但在36.9%的案例中未能保留语义，凸显了自动指标的局限性。
• 该方法将严重语法错误降低至6.8%（对比NTS的15%），证明了语言模型引导的优势。
• 收敛控制提升了所有模型的简化质量，除GPT-2外，后者因自回归生成导致长度增加。
• 发布了一个包含1,250个样本的临床笔记简化数据集，并经临床医生验证，填补了该领域的重要空白。