[论文解读] Towards the Creation of a Large Corpus of Synthetically-Identified Clinical Notes

Willie Boag, Tristan Naumann+1 more|arXiv (Cornell University)|Mar 7, 2018

Topic Modeling参考文献 4被引用 7

一句话总结

本文提出了一种基于MIMIC-III数据集、通过将受保护健康信息（PHI）替换为真实感替代物而生成的大规模合成去标识化临床笔记语料库，可安全用于去标识化模型的训练。评估结果表明，增加训练数据规模能显著提升召回率，尤其是对于医院名称，证明了大规模合成数据在推进临床NLP工具方面的价值。

ABSTRACT

Clinical notes often describe the most important aspects of a patient's physiology and are therefore critical to medical research. However, these notes are typically inaccessible to researchers without prior removal of sensitive protected health information (PHI), a natural language processing (NLP) task referred to as deidentification. Tools to automatically de-identify clinical notes are needed but are difficult to create without access to those very same notes containing PHI. This work presents a first step toward creating a large synthetically-identified corpus of clinical notes and corresponding PHI annotations in order to facilitate the development de-identification tools. Further, one such tool is evaluated against this corpus in order to understand the advantages and shortcomings of this approach.

研究动机与目标

• 为解决公开可用的大规模去标识化临床笔记缺失问题，以支持NLP模型的训练。
• 通过生成具有真实感PHI替代物的合成语料库，打破去标识化任务中的数据依赖循环。
• 在合成语料库上评估基于条件随机场（CRF）的基准去标识化系统，以评估其性能与局限性。
• 通过提供一个公开可访问、高容量的数据集，推动未来开发稳健、可扩展的去标识化工具。
• 探索合成去标识化在可行性与质量方面作为真实PHI数据的可行替代方案。

提出的方法

• 使用Neamatullah等人[7]提出的基于规则的去标识化系统，将MIMIC-III笔记中的真实PHI替换为替代物，生成合成语料库。
• 基于2005年美国人口普查的频率选择替代姓名，并从美国医院列表中均匀选取医院名称，以确保真实性。
• 利用包括词项存在性、大小写形式及相邻词上下文在内的特征，训练条件随机场（CRF）模型以识别PHI。
• 通过读取相邻行的内容而非使用特殊起始/结束标记，设计特征以应对笔记结构的多样性。
• 采用词元级别的精确率、召回率和F1值作为评估指标，评估模型在患者姓名和医院名称上的性能。
• 通过逐步增加更多笔记文件来系统性扩大训练数据规模，以评估数据规模的影响。

实验结果

研究问题

• RQ1 能否有效构建大规模合成的去标识化临床笔记语料库，以支持NLP模型的开发？
• RQ2 增加训练数据规模对去标识化模型性能有何影响？
• RQ3 在合成去标识化语料库中，精确率与召回率之间存在何种权衡？
• RQ4 合成数据生成在多大程度上影响了去标识化任务的真实感与挑战性？
• RQ5 基于CRF的模型能否在大规模合成语料库上实现高性能，其表现是否反映现实世界中的泛化能力？

主要发现

• 在1,000个文件上进行训练，患者姓名的召回率达到0.96，医院名称的召回率达到0.89，显著优于小规模数据集。
• 在所有数据规模下，精确率均保持较高水平（患者姓名为0.92，医院名称为0.95），表明误报极少。
• 随着训练数据增多，召回率显著提升，尤其在医院名称识别方面，表明数据规模对捕捉复杂模式至关重要。
• 在1,000个训练文件时，医院名称识别的F1值达到0.92，表明整体性能出色。
• 结果表明，更大的合成数据集能显著提升模型召回率，且不以牺牲精确率为代价，支持了在去标识化任务中数据规模的重要性。
• 尽管替代物多样性存在局限，但大量标注数据有助于缓解罕见或拼写错误实体相关的问题。