[论文解读] Spanish Biomedical and Clinical Language Embeddings

Asier Gutiérrez-Fandiño, Jordi Armengol-Estapé+4 more|arXiv (Cornell University)|Feb 25, 2021

Natural Language Processing Techniques参考文献 5被引用 5

一句话总结

本论文通过在大规模清洗语料上使用 FastText 和子词（BPE）分词方法，提出了新的西班牙语生物医学与临床语言嵌入。其在 PharmaCoNER 基准测试中达到最先进性能，使用 skip-gram 嵌入在大小写敏感验证集上达到 90.91% 的准确率，在测试集上达到 89.40%，表明利用更大、领域特定的数据可实现更优的表征学习。

ABSTRACT

We computed both Word and Sub-word Embeddings using FastText. For Sub-word embeddings we selected Byte Pair Encoding (BPE) algorithm to represent the sub-words. We evaluated the Biomedical Word Embeddings obtaining better results than previous versions showing the implication that with more data, we obtain better representations.

研究动机与目标

• 为应对由于数据敏感性导致的高质量西班牙语生物医学与临床 NLP 资源稀缺问题。
• 为西班牙语医学文本开发稳健且公开可用的词向量与子词向量嵌入。
• 通过更大、经筛选的语料，提升低资源医学 NLP 场景中的表征学习能力。
• 在标准化基准上评估嵌入性能，以证明性能提升。
• 将嵌入作为开放获取资源发布，供 NLP 与生物医学人工智能社区使用。

提出的方法

• 从 PubMed、Scielo、EMEA、专利文献以及网络爬取的医学文本等多种来源构建了大规模生物医学语料（11 亿词符）。
• 从专业病例报告（包括新冠和中风病例）中构建了临床语料（150 万个词符）。
• 应用多步清洗流程：格式转换、句子切分、语言检测、噪声过滤、去重，并保留文档边界。
• 使用 CBOW 和 skip-gram 架构生成 FastText 词向量与子词向量，维度分别为 50、100 和 300。
• 使用字节对编码（BPE），生物医学语料的词汇量为 10,000，临床语料为 8,000，以建模子词形态。
• 对临床嵌入应用词频阈值 4，以降低罕见术语带来的隐私风险。

实验结果

研究问题

• RQ1 更大、领域特定的西班牙语语料是否能提升生物医学与临床词嵌入的质量？
• RQ2 在西班牙语医学 NLP 任务中，子词（BPE）嵌入与标准词嵌入相比表现如何？
• RQ3 所提出的嵌入在标准化基准上相较于先前版本的性能提升程度如何？
• RQ4 在敏感临床数据上训练的嵌入是否能在保持实用性的前提下最小化隐私泄露？
• RQ5 大小写处理对西班牙语医学 NLP 性能的影响如何？

主要发现

• v3.0 生物医学词嵌入在使用 skip-gram 方法时，大小写敏感验证集上达到 90.91% 的准确率，测试集上为 89.40%。
• 无大小写版本在验证集上达到 89.97%，测试集上为 89.66%，表现出强大的泛化能力。
• 性能相比先前版本（v1.0 和 v2.0）显著提升，证实了更大、更多样化语料的益处。
• 生物医学语料（11 亿词符）在发表时是当时最大的西班牙语生物医学语料。
• 临床嵌入采用更高的词频阈值（4），以降低敏感信息暴露风险。
• 所有嵌入均已作为开放获取资源发布在 Zenodo，供公众使用。