[论文解读] Uncertainty quantification of molecular property prediction with Bayesian neural networks

Seongok Ryu, Yongchan Kwon+1 more|arXiv (Cornell University)|Mar 20, 2019

Machine Learning in Materials Science参考文献 16被引用 15

一句话总结

本文提出贝叶斯图卷积网络（Bayesian GCNs），以量化分子性质预测中的预测不确定性，将不确定性分解为数据驱动（aleatoric）和模型驱动（epistemic）两部分。结果表明，不确定性与预测置信度强相关，从而实现对预测结果的可靠筛选和数据错误检测——尤其在哈佛清洁能源计划等合成数据集上表现显著，提升了分子人工智能应用中的AI安全性。

ABSTRACT

Deep neural networks have outperformed existing machine learning models in various molecular applications. In practical applications, it is still difficult to make confident decisions because of the uncertainty in predictions arisen from insufficient quality and quantity of training data. Here, we show that Bayesian neural networks are useful to quantify the uncertainty of molecular property prediction with three numerical experiments. In particular, it enables us to decompose the predictive variance into the model- and data-driven uncertainties, which helps to elucidate the source of errors. In the logP predictions, we show that data noise affected the data-driven uncertainties more significantly than the model-driven ones. Based on this analysis, we were able to find unexpected errors in the Harvard Clean Energy Project dataset. Lastly, we show that the confidence of prediction is closely related to the predictive uncertainty by performing on bio-activity and toxicity classification problems.

研究动机与目标

• 为解决实际应用中因训练数据有限且嘈杂而导致的分子性质预测不可靠问题。
• 开发一种量化分子机器学习模型预测不确定性的方法，以提高决策的可靠性。
• 区分分子预测中数据驱动（aleatoric）与模型驱动（epistemic）的不确定性来源。
• 验证预测不确定性是否可作为二分类任务（如生物活性与毒性预测）中可靠的置信度指标。
• 通过分析分子数据集中异常不确定性模式，检测数据质量问题——尤其是错误的合成标注。

提出的方法

• 采用贝叶斯神经网络（BNNs）提供概率化预测，并量化分子性质回归与分类任务中的不确定性。
• 使用变分推断近似网络权重的后验分布，实现在图神经网络中的不确定性估计。
• 通过贝叶斯推断将总预测方差分解为aleatoric（数据噪声）与epistemic（模型不确定性）两部分。
• 采用增强图卷积网络（GCNs）作为分子表征学习的深度学习主干网络。
• 使用SMILES编码的分子结构和属性标签训练贝叶斯GCN，对每个预测结果进行不确定性量化。
• 利用不确定性阈值对预测结果进行分组，并在分类任务中评估置信度与准确率之间的关系。

实验结果

研究问题

• RQ1 贝叶斯GCN能否在分子性质预测中有效分解预测不确定性为数据驱动与模型驱动两部分？
• RQ2 数据噪声（如来自计算方法不准确的噪声）如何影响分子性质预测中的aleatoric不确定性？
• RQ3 异常高水平的aleatoric不确定性能否作为信号，用于检测合成分子数据集中错误或近似不佳的数据？
• RQ4 在生物活性与毒性预测等二分类任务中，预测不确定性是否可作为可靠的置信度代理？
• RQ5 预测不确定性越低，其与预测准确率的相关性在多大程度上增强？

主要发现

• 在logP预测中，随着数据噪声的增加，aleatoric不确定性上升，而epistemic不确定性保持相对稳定，证实了该方法有效隔离了与数据相关的不确定性。
• 哈佛清洁能源计划数据集中，预测PCE值恰好为零的分子表现出异常高的aleatoric不确定性，后经证实为因M06-2X泛函近似不佳导致的错误标注。
• 贝叶斯GCN成功识别出1,058个PCE值为零的分子为可能错误样本，展示了不确定性在数据质量控制中的实用价值。
• 在生物活性与毒性分类任务中，总不确定性越低的分子，其分类准确率显著更高，其中不确定性最低的组在DUD-E数据集上达到92.3%的准确率。
• 总不确定性在预测概率接近0或1时最小，在0.5时最大，证实不确定性行为符合有效置信度度量的特性。
• 在分类任务中，aleatoric不确定性对总不确定性的贡献显著高于epistemic不确定性，表明在这些设置中，数据噪声是主导不确定性来源。