[论文解读] Predictive Chemistry Augmented with Text Retrieval

Yujie Qian, Zhening Li+3 more|arXiv (Cornell University)|Dec 8, 2023

Advanced Text Analysis Techniques被引用 4

一句话总结

TextReact 提出了一种新颖的框架，通过将相关科学文献文本与分子反应表征进行检索和对齐，提升了预测性化学模型的性能。通过将文本检索与掩码语言建模目标相结合，TextReact 实现了最先进（SOTA）的性能表现，在反应条件推荐任务上将 top-1 准确率提升了 58.4%，在单步逆合成任务上提升了 13.6–15.7%，相较于仅使用分子数据训练的模型而言。

ABSTRACT

This paper focuses on using natural language descriptions to enhance predictive models in the chemistry field. Conventionally, chemoinformatics models are trained with extensive structured data manually extracted from the literature. In this paper, we introduce TextReact, a novel method that directly augments predictive chemistry with texts retrieved from the literature. TextReact retrieves text descriptions relevant for a given chemical reaction, and then aligns them with the molecular representation of the reaction. This alignment is enhanced via an auxiliary masked LM objective incorporated in the predictor training. We empirically validate the framework on two chemistry tasks: reaction condition recommendation and one-step retrosynthesis. By leveraging text retrieval, TextReact significantly outperforms state-of-the-art chemoinformatics models trained solely on molecular data.

研究动机与目标

• 通过整合来自文献的非结构化科学文本，而非仅依赖结构化的分子数据，来提升预测性化学模型的性能。
• 解决现有化学信息学模型仅基于分子编码运行的局限性，这些模型可能遗漏已发表反应中的上下文线索。
• 开发一种检索增强型框架，将分子表征与相关文本描述融合，以提升预测准确率与泛化能力。
• 在两个核心化学任务上验证该方法的有效性：反应条件推荐与单步逆合成。
• 证明即使在训练过程中排除标准参考文本，文本检索也能显著提升模型性能，表明其具备强大的泛化能力。

提出的方法

• TextReact 使用一种 SMILES 到文本的检索器，通过对比学习将给定的反应（以 SMILES 格式表示）映射到无标注语料库中相关的文本描述。
• 该框架采用一种文本增强型预测器，联合编码输入反应与检索到的文本嵌入表示以生成预测结果。
• 在训练过程中引入辅助的掩码语言建模（MLM）目标，以对齐反应与对应文本表征的表示，提升跨模态理解能力。
• 采用数据增强策略，在训练时移除最接近的文本描述，以模拟未见的反应类别，从而提升泛化能力。
• 检索到的文本被拼接后进行联合编码，而非独立处理，使模型能够同时推理多个证据来源。
• 使用预训练的 SciBERT 初始化文本编码器，通过先前对科学语言的暴露提升性能。

Figure 1: Predictive chemistry augmented with text retrieval. For example, given the task of reaction condition recommendation, we retrieve texts relevant to the input reaction to provide additional evidence for the model’s prediction. The two retrieved texts describe similar reactions to the input

实验结果

研究问题

• RQ1 从文献中检索相关科学文本描述，是否能显著提升预测性化学模型的性能？
• RQ2 将检索到的文本与分子表征相结合，如何影响模型在未见反应类型上的泛化能力？
• RQ3 辅助的掩码语言建模（MLM）目标是否能提升化学预测任务中分子与文本表征之间的对齐效果？
• RQ4 TextReact 的性能与仅基于结构化分子数据训练的最先进模型相比如何？
• RQ5 检索到的文本质量（例如与输入反应的相似度）在多大程度上影响预测准确率？

主要发现

• 与仅使用分子数据训练的最先进模型相比，TextReact 在反应条件推荐任务上的 top-1 准确率绝对提升了 58.4%。
• 在单步逆合成任务中，与仅使用分子数据训练的基线模型相比，TextReact 在 top-1 准确率上提升了 13.6–15.7%。
• 即使在从不包含标准参考文本的语料库中检索时，模型仍保持强劲性能，表明其对未见反应类别的鲁棒性与泛化能力。
• 消融实验证明，若移除掩码语言建模（MLM）目标，性能会下降，证实其在对齐文本与分子表征方面的有效性。
• 联合编码检索到的文本（而非独立集成多个预测结果）能带来更好的性能，表明端到端融合的优势。
• TextReact 仅使用 10% 的训练数据即可取得优于标准 Transformer 基线模型的性能，凸显其数据效率。

Figure 2: One-step retrosynthesis, another predictive chemistry task studied in this paper.