[论文解读] The Medical Scribe: Corpus Development and Model Performance Analyses

Izhak Shafran, Nan Du+12 more|arXiv (Cornell University)|Mar 12, 2020

Topic Modeling参考文献 19被引用 8

一句话总结

本文提出了一种新颖的框架，用于从医生-患者语音转录文本中提取临床概念——药物、症状和疾病。该框架采用跨度-属性标注（Span-Attribute Tagging, SAT）模型，引入了自定义的标注方案，构建了一个包含6,000个临床会话的语料库，且标注者间一致性较高，并报告了药物、症状和疾病分别达到0.90、0.72和0.57的最先进F1分数。大量错误分析表明，许多模型错误在临床上并不具关键影响。

ABSTRACT

There is a growing interest in creating tools to assist in clinical note generation using the audio of provider-patient encounters. Motivated by this goal and with the help of providers and medical scribes, we developed an annotation scheme to extract relevant clinical concepts. We used this annotation scheme to label a corpus of about 6k clinical encounters. This was used to train a state-of-the-art tagging model. We report ontologies, labeling results, model performances, and detailed analyses of the results. Our results show that the entities related to medications can be extracted with a relatively high accuracy of 0.90 F-score, followed by symptoms at 0.72 F-score, and conditions at 0.57 F-score. In our task, we not only identify where the symptoms are mentioned but also map them to canonical forms as they appear in the clinical notes. Of the different types of errors, in about 19-38% of the cases, we find that the model output was correct, and about 17-32% of the errors do not impact the clinical note. Taken together, the models developed in this work are more useful than the F-scores reflect, making it a promising approach for practical applications.

研究动机与目标

• 开发一种可扩展、高准确率的方法，用于从非结构化的口语化医生-患者会话中提取临床概念。
• 设计并验证一种适用于对话式口语中临床实体的稳健标注方案，以应对自然、非正式对话带来的挑战。
• 构建并评估一个大规模、专有的6,000个标注临床会话语料库，用于训练和基准测试临床信息抽取模型。
• 通过分析错误类型和临床相关性，超越标准F1分数指标，评估模型预测在真实世界中的实用性。
• 为未来在自动化临床记录方面的研究提供详细的标注指南和深入见解。

提出的方法

• 开发了三阶段标注框架：药物、症状和疾病，采用标准化原则对对话式口语中的临床实体进行标注。
• 设计了全面的本体论和迭代式标注指南，并通过标注者间一致性检查和反馈循环进行优化。
• 收集并标注了一个包含约6,000个真实临床会话的专有语料库，涵盖医生与医疗记录员之间的互动。
• 训练了一个最先进的跨度-属性标注（Span-Attribute Tagging, SAT）模型，以联合识别实体跨度及其属性（如频率、部位等）。
• 应用回合级建模，以提升在实体边界模糊或多轮对话中跨度较长时的召回率。
• 开展人工错误分类，以分析模型失败模式，并评估模型错误的临床影响。

实验结果

研究问题

• RQ1 在缺乏标点符号和结构线索的情况下，如何可靠地从非正式口语化的医生-患者对话中提取临床实体？
• RQ2 现代NLP模型在从语音转录文本中提取临床概念方面的表现如何？与书面临床文本相比有何差异？
• RQ3 模型错误在多大程度上影响临床决策？是否可通过错误分析和质量控制手段加以缓解？
• RQ4 在复杂口语化临床数据中，如何在不降低标签质量的前提下提高标注效率？
• RQ5 结合SAT模型与回合级建模，能否通过平衡精确率与召回率来提升整体抽取性能？

主要发现

• SAT模型在药物抽取任务中取得了0.90的F1分数，表明该实体类型的可靠性较高。
• 症状抽取的F1分数达到0.72，表现良好但一致性低于药物。
• 疾病抽取的F1分数最低，仅为0.57，反映出从口语语言中识别和标准化临床疾病存在更大难度。
• 约19–38%的模型预测结果虽被标记为错误，但实际是正确的，表明许多错误并非根本性误判。
• 约17–32%的错误不改变临床含义，表明模型的实际应用价值高于其F1分数所反映的水平。
• 人工错误分析显示，结合SAT模型与回合级建模可借助两者在精确率与召回率上的互补优势，提升整体性能。