[论文解读] Using natural language processing techniques to extract information on the properties and functionalities of energetic materials from large text corpora

Daniel C. Elton, D P Turakhia+5 more|arXiv (Cornell University)|Mar 1, 2019

Computational Drug Discovery Methods参考文献 29被引用 16

一句话总结

本文提出了一种使用预训练词嵌入（word2vec 和 GloVe）的自然语言处理（NLP）流水线，从大规模未标注的含能材料文本语料中自动提取化学-化学、化学-性质及化学-应用关系。通过利用嵌入空间中的语义相似性，该系统能够识别出有意义的关联关系（如同义词、功能应用，例如火箭、气囊），而无需依赖人工标注的数据集，展示了在材料信息学领域中高度的可迁移性与实用性。

ABSTRACT

The number of scientific journal articles and reports being published about energetic materials every year is growing exponentially, and therefore extracting relevant information and actionable insights from the latest research is becoming a considerable challenge. In this work we explore how techniques from natural language processing and machine learning can be used to automatically extract chemical insights from large collections of documents. We first describe how to download and process documents from a variety of sources - journal articles, conference proceedings (including NTREM), the US Patent & Trademark Office, and the Defense Technical Information Center archive on archive.org. We present a custom NLP pipeline which uses open source NLP tools to identify the names of chemical compounds and relates them to function words ("underwater", "rocket", "pyrotechnic") and property words ("elastomer", "non-toxic"). After explaining how word embeddings work we compare the utility of two popular word embeddings - word2vec and GloVe. Chemical-chemical and chemical-application relationships are obtained by doing computations with word vectors. We show that word embeddings capture latent information about energetic materials, so that related materials appear close together in the word embedding space.

研究动机与目标

• 为解决从含能材料科学文献量指数级增长中提取可操作洞见的挑战。
• 开发一种自动化、可迁移的系统，用于识别文本中的化学-化学、化学-性质及化学-应用关系。
• 在缺乏人工标注训练数据的情况下，评估现成 NLP 工具和预训练词嵌入的有效性。
• 证明词嵌入空间中的语义相似性可揭示化学上有意义的关联，如同义词和功能分组。
• 为含能材料研究提供一种可扩展、低资源的替代方案，以替代传统耗时的人工 NLP 标注。

提出的方法

• 通过整合科学论文、会议论文集（包括 NTREM）、美国专利局（USPTO）专利以及 DTIC 报告，构建了一个大规模开放语料库。
• 应用开源 NLP 工具执行命名实体识别（NER），并从文本中提取化学名称。
• 使用 word2vec 和 GloVe 生成词嵌入，基于共现模式将词语表示为密集向量空间中的向量。
• 利用词向量之间的余弦相似度识别语义相关的术语，如同义词或功能上相似的材料。
• 应用过滤技术，通过 ChemDataExtractor 和支持向量机（SVM）分类器，排除非化学物质和非含能材料，以优化结果。
• 通过查询与应用相关的术语（如 'rocket'、'air'、'underwater'）评估系统，并分析排名靠前的相似词在相关性和准确性方面的表现。

实验结果

研究问题

• RQ1 在缺乏人工标注数据的情况下，预训练词嵌入能否有效捕捉含能材料之间的语义关系？
• RQ2 word2vec 和 GloVe 嵌入在含能材料背景下，识别化学同义词和功能相关化合物的能力如何？
• RQ3 嵌入空间中的语义相似性在多大程度上能揭示有意义的化学-应用关联（如用于火箭推进剂或气囊的材料）？
• RQ4 基于化学名称识别和含能材料可能性的过滤策略，如何提升所提取关系的质量？
• RQ5 该方法在不同文本来源（如专利与科学论文）之间是否具有可泛化性，且仅需极少领域特定调优？

主要发现

• word2vec 和 GloVe 嵌入成功捕捉了语义关系，其中 word2vec 在识别同义词（如 'RDX' 和 'hexogen'）方面表现略优，二者在前 5 名相似度排名中均表现良好。
• 对于 'underwater' 查询，系统正确将 'pentolite' 和 'TBE'（热压炸药）列为最相似的术语，表明其具有功能相关性。
• 在 'air' 查询中，'argon' 和 'nitrogen' 排名靠前，且 'semicarbazide nitrate'（一种实验性气囊材料）被正确识别为相关的含能化合物。
• 系统通过上下文分析成功消歧了缩写词，如 'HoB'（爆炸高度）、'LAG'（液相辅助研磨）和 'NOL'（海军弹药试验室）。
• 使用 SVM 分类器进行过滤显著提升了精确率，成功去除了非含能材料，同时 'pentolite' 和 'TBE' 仍保留在高排名结果中。
• 该方法表现出高度的可迁移性，因其无需任何标注数据，且在专利和会议论文集等多样化文本来源中均表现良好。