[论文解读] Quantum Energy Regression using Scattering Transforms

Matthew Hirn, Nicolas Poilvert+1 more|arXiv (Cornell University)|Feb 6, 2015

Machine Learning in Materials Science参考文献 16被引用 20

一句话总结

该论文提出了一种基于散射变换的回归框架，利用二维电子密度表示来预测量子分子能量，通过强制实现排列不变性、等距不变性和形变不变性，实现了最先进的精度。该方法在4,357种分子的数据库上，相比基于库仑矩阵的回归方法，平均绝对误差降低25%，均方根误差降低53%。

ABSTRACT

We present a novel approach to the regression of quantum mechanical energies based on a scattering transform of an intermediate electron density representation. A scattering transform is a deep convolution network computed with a cascade of multiscale wavelet transforms. It possesses appropriate invariant and stability properties for quantum energy regression. This new framework removes fundamental limitations of Coulomb matrix based energy regressions, and numerical experiments give state-of-the-art accuracy over planar molecules.

研究动机与目标

• 解决库仑矩阵表示在量子能量回归中的根本局限性，即其对原子排序的任意依赖性。
• 基于电子密度开发一种具有物理解释性的、排列不变的分子表示，以实现稳定且不变的回归。
• 利用散射变换——一种深度卷积小波网络——提取多尺度、稳定且不变的特征，用于能量预测。
• 通过结合电子密度建模与散射不变性，在平面有机分子上实现最先进的回归精度。
• 证明仅需一小部分散射系数（M=591）即可实现高精度能量预测，尽管字典规模较大（11,071个元素）。

提出的方法

• 通过原子密度的线性叠加，将每种分子表示为二维电子密度函数，提供一种连续且排列不变的信号。
• 使用具有多尺度和方向性滤波器的二进制小波变换，实施两层散射变换，以提取不变特征。
• 通过级联小波变换和模非线性性构建散射不变性的字典，确保对排列、旋转、平移和形变的不变性。
• 使用学习得到的字典，对散射变换系数执行稀疏线性回归，以最小化活跃系数的数量。
• 通过交叉验证选择最优的回归项数量（M），并在测试集上评估性能。
• 通过利用基于小波的散射变换的数学特性，确保稳定性和不变性，这些特性已被证明对小形变具有稳定性，并对等距变换具有不变性。

实验结果

研究问题

• RQ1 基于二维电子密度表示的散射变换是否能在预测量子分子能量方面优于基于库仑矩阵的回归？
• RQ2 散射变换在分子能量回归中在多大程度上实现了排列和等距不变性？
• RQ3 散射变换的多尺度结构如何捕捉分子中的共价键和范德华相互作用？
• RQ4 实现高精度能量预测所需的最少散射系数数量是多少？
• RQ5 与现有方法相比，基于散射的回归在更大、更多样化的分子数据库上的表现如何？

主要发现

• 在4,357种分子的数据库上，基于散射变换的回归相比最优的基于库仑矩阵的方法，平均绝对误差降低了25%。
• 与最先进的库仑矩阵方法相比，该方法将均方根误差降低了53%，表明预测中的大误差显著减少。
• 尽管字典规模为11,071，最终回归模型仅选用了591个散射系数，表明特征选择高效且泛化能力强。
• 与傅里叶或小波基回归相比，散射表示在更大数据库上表现出更低的偏差误差，而后者在不同数据集大小下误差几乎恒定。
• 随着M的增加，小波基的回归误差衰减速度显著快于傅里叶基，且散射变换在最终精度上优于两者。
• 对应于最小和最大原子间距离之间尺度的散射系数最具预测性，表明其与分子几何结构具有物理相关性。