[论文解读] SMILES-X: autonomous molecular compounds characterization for small datasets without descriptors

G. Lambard, Ekaterina Gracheva|arXiv (Cornell University)|Jun 20, 2019

Machine Learning in Materials Science参考文献 65被引用 26

一句话总结

SMILES-X 是一种新颖的神经网络架构，仅使用 SMILES 字符串作为输入，在小样本数据集上实现分子性质的自主预测。它采用 SMILES 增强技术，结合自定义的 {Embed-Encode-Attend-Predict} 变压器类架构，具备基于注意力机制的可解释性，并通过贝叶斯超参数优化，实现了在预测水溶性（RMSE ≈ 0.57 mols/L）、水合自由能（RMSE ≈ 0.81 kcal/mol）和 LogD（RMSE ≈ 0.59）方面的最先进性能，且无需依赖人工设计的描述符或大规模数据集。

ABSTRACT

There is more and more evidence that machine learning can be successfully applied in materials science and related fields. However, datasets in these fields are often quite small ($\ll1000$ samples). It makes the most advanced machine learning techniques remain neglected, as they are considered to be applicable to big data only. Moreover, materials informatics methods often rely on human-engineered descriptors, that should be carefully chosen, or even created, to fit the physicochemical property that one intends to predict. In this article, we propose a new method that tackles both the issue of small datasets and the difficulty of task-specific descriptors development. The SMILES-X is an autonomous pipeline for molecular compounds characterisation based on a \{Embed-Encode-Attend-Predict\} neural architecture with a data-specific Bayesian hyper-parameters optimisation. The only input to the architecture -- the SMILES strings -- are de-canonicalised in order to efficiently augment the data. One of the key features of the architecture is the attention mechanism, which enables the interpretation of output predictions without extra computational cost. The SMILES-X shows new state-of-the-art results in the inference of aqueous solubility ($\overline{RMSE}_{test} \simeq 0.57 \pm 0.07$ mols/L), hydration free energy ($\overline{RMSE}_{test} \simeq 0.81 \pm 0.22$ kcal/mol, which is $\sim 24.5\%$ better than molecular dynamics simulations), and octanol/water distribution coefficient ($\overline{RMSE}_{test} \simeq 0.59 \pm 0.02$ for LogD at pH 7.4) of molecular compounds. The SMILES-X is intended to become an important asset in the toolkit of materials scientists and chemists. The source code for the SMILES-X is available at \href{https://github.com/GLambard/SMILES-X}{github.com/GLambard/SMILES-X}.

研究动机与目标

• 解决在小分子数据集（<1000 个样本）上训练深度学习模型的挑战，此类数据集在材料科学中十分常见。
• 通过仅使用原始 SMILES 字符串作为输入，消除对人工设计分子描述符的依赖。
• 通过注意力机制实现可解释性预测，突出显示化学上相关的片段，且无需额外训练。
• 开发一个端到端的自主流水线，通过贝叶斯优化为每个数据集自动优化模型超参数。
• 在预测关键理化性质（如溶解度、水合自由能和亲脂性）方面实现最先进性能。

提出的方法

• 仅使用去规范化的 SMILES 字符串作为输入表示，通过 SMILES 增强技术提升数据多样性。
• 应用数据特定的贝叶斯优化来调整神经网络超参数，提升小样本数据集上的泛化能力。
• 采用 {Embed-Encode-Attend-Predict} 神经架构，结合注意力机制，在预测过程中聚焦于相关分子片段。
• 利用注意力权重实现对预测结果的实时、模型无关的可解释性，通过突出显示影响预测的关键 SMILES 标记。
• 引入时间相对距离（Tdist）以追踪 SMILES 字符串逐个标记读取过程中预测的演变过程，从而动态揭示结构影响。
• 通过基于注意力的特征选择减少模型复杂度和过拟合风险，从而最小化可训练参数数量。

实验结果

研究问题

• RQ1 深度学习模型是否能在不使用人工设计描述符的情况下，实现分子理化性质预测的最先进性能？
• RQ2 SMILES 增强（通过去规范化和重索引）在提升小样本数据集上模型泛化能力方面的效果如何？
• RQ3 在轻量级神经架构中，注意力机制在无需额外训练的情况下，能在多大程度上提供可解释的预测？
• RQ4 与随机搜索或网格搜索相比，贝叶斯超参数优化是否能显著提升小分子数据集上的性能？
• RQ5 SMILES-X 流水线在 MoleculeNet 等基准数据集上是否优于现有方法，用于预测溶解度、水合自由能和 LogD？

主要发现

• 在 ESOL 数据集上，SMILES-X 在水溶性预测中实现了 0.57 ± 0.07 mols/L 的测试 RMSE，创下新的最先进水平。
• 在 FreeSolv 数据集上，SMILES-X 在水合自由能预测中实现了 0.81 ± 0.22 kcal/mol 的 RMSE，相比分子动力学模拟提升了 24.5%。
• 在 Lipophilicity 数据集上，SMILES-X 在 pH 7.4 条件下对 LogD 的预测实现了 0.59 ± 0.02 的 RMSE，显示出在亲脂性预测中的高精度。
• 注意力机制成功识别出化学上相关的片段——例如酚类化合物中的氧原子——作为水合自由能预测中最具影响力的特征。
• 时间相对距离（Tdist）分析表明，预测在处理 SMILES 字符串前几个标记后迅速稳定，显著收敛现象在早期即被观察到。
• 去规范化的 SMILES 增强技术在不使用图结构架构的前提下，带来了可测量的性能提升（Can vs. Augm），而此类方法在图基架构中难以实现。