[论文解读] Towards Automated Anamnesis Summarization: BERT-based Models for Symptom Extraction

Anton Maximilian Schäfer, Nils Blach+3 more|arXiv (Cornell University)|Nov 3, 2020

Topic Modeling参考文献 13被引用 4

一句话总结

该论文提出基于BERT的模型，用于从德语患者自述中自动提取症状，使用了一个包含125篇论坛帖子的新数据集。通过课程学习和数据增强，其在症状分类任务上实现了SOTA性能，F1得分为0.903，展示了在临床文档支持方面的强大潜力。

ABSTRACT

Professionals in modern healthcare systems are increasingly burdened by documentation workloads. Documentation of the initial patient anamnesis is particularly relevant, forming the basis of successful further diagnostic measures. However, manually prepared notes are inherently unstructured and often incomplete. In this paper, we investigate the potential of modern NLP techniques to support doctors in this matter. We present a dataset of German patient monologues, and formulate a well-defined information extraction task under the constraints of real-world utility and practicality. In addition, we propose BERT-based models in order to solve said task. We can demonstrate promising performance of the models in both symptom identification and symptom attribute extraction, significantly outperforming simpler baselines.

研究动机与目标

• 解决德语医疗环境中临床文档不完整且非结构化的问题。
• 开发一个实用且可实际应用的信息抽取任务，用于从患者自述中提取症状及其属性。
• 创建一个包含125个德语患者撰写病情描述的全新高质量数据集，并进行结构化的症状和属性标注。
• 在低资源医疗NLP的实际约束条件下，评估基于BERT的模型在症状分类和属性抽取中的表现。
• 通过症状查询模型和数据增强技术，提升对未见症状的泛化能力。

提出的方法

• 在具有多标签输出的症状分类任务上微调预训练的德语BERT模型（bert-base-german-cased）。
• 提出一种基于BERT的症状查询模型（BERT-SQ），通过症状描述作为条件来预测患者文本中症状的存在与否，从而实现对未见症状的零样本泛化。
• 通过基于症状层级相似性的负样本排序，应用课程学习，逐步增加任务难度。
• 通过生成症状的合成描述来实施数据增强，以提升模型的泛化能力。
• 采用两种属性抽取策略：起始-结束标记预测和连续标记分类，概率置信度阈值设为0.7。
• 应用启发式后处理方法，以解决起始-结束预测中重叠或不匹配的标记跨度问题。

实验结果

研究问题

• RQ1 基于BERT的模型能否在真实临床环境中，从非结构化的德语患者自述中有效提取症状及其属性？
• RQ2 课程学习在具有层次症状结构的症状分类任务中，如何提升模型性能？
• RQ3 通过合成症状描述进行数据增强，在多大程度上能提升模型对未见症状的泛化能力？
• RQ4 在性能和鲁棒性方面，不同的属性抽取策略（起始-结束预测 vs. 连续标记预测）有何差异？
• RQ5 症状查询模型能否在未见训练症状上实现有效的泛化？

主要发现

• 结合课程学习和数据增强的BERT症状查询模型在症状分类任务上实现了0.903的micro-F1得分，显著优于基线模型。
• 消融研究（附录D）表明，结合数据增强的症状查询模型对未见症状的泛化能力更强。
• 连续标记预测方法在位置属性上的F1得分最高，达到0.66，优于起始-结束方法（0.56）。
• 同时训练所有属性的通用属性模型在大多数属性上表现优于独立模型，其中频率属性的F1最高，达0.42，行动属性为0.32。
• 在表现最佳的配置下，模型在症状检测任务中实现了0.956的精确率和0.855的召回率，表明其具有高度可靠性。
• 尽管症状分类表现优异，属性抽取仍具挑战性，特别是描述性和时间属性，部分类别的F1得分低于0.3。