[论文解读] Recent advances in the SISSO method and their implementation in the SISSO++ code

Thomas A. R. Purcell, Matthias Scheffler+1 more|arXiv (Cornell University)|May 2, 2023

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

该论文在 SISSO++ 代码中实现了算法与实现的重大改进，引入了二叉表达式树以实现语法一致的特征表示，采用参数化 SISSO 实现非线性参数优化，并通过多残差学习提升模型的表达能力与准确性。这些改进显著扩展了在材料科学应用中可发现的物理上合理且可解释的人工智能模型的范围。

ABSTRACT

Accurate and explainable artificial-intelligence (AI) models are promising tools for the acceleration of the discovery of new materials, ore new applications for existing materials. Recently, symbolic regression has become an increasingly popular tool for explainable AI because it yields models that are relatively simple analytical descriptions of target properties. Due to its deterministic nature, the sure-independence screening and sparsifying operator (SISSO) method is a particularly promising approach for this application. Here we describe the new advancements of the SISSO algorithm, as implemented into SISSO++, a C++ code with Python bindings. We introduce a new representation of the mathematical expressions found by SISSO. This is a first step towards introducing ``grammar'' rules into the feature creation step. Importantly, by introducing a controlled non-linear optimization to the feature creation step we expand the range of possible descriptors found by the methodology. Finally, we introduce refinements to the solver algorithms for both regression and classification, that drastically increase the reliability and efficiency of SISSO. For all of these improvements to the basic SISSO algorithm, we not only illustrate their potential impact, but also fully detail how they operate both mathematically and computationally.

研究动机与目标

• 提升 SISSO 符号回归方法在材料性能预测中的表达能力与可靠性。
• 通过二叉表达式树表示，实现语法正确且物理一致的数学表达式。
• 通过参数化特征优化，扩展 SISSO 发现复杂非线性模型的能力。
• 通过多残差学习与高效求解器算法，提升描述符识别能力。
• 提供模块化、开源的 C++ 代码库，并配备 Python 绑定，以促进在材料信息学中的广泛应用。

提出的方法

• 将特征表示为二叉表达式树，支持递归操作、单位追踪以及定义域/值域控制，确保物理一致性。
• 引入参数化 SISSO，允许在特征生成过程中通过基于压缩感知度量的损失函数，对非线性参数进行优化。
• 在描述符识别步骤中引入多个残差，使模型能够从对目标性能的逐步优化近似中学习。
• 使用线性规划求解分类问题，提升求解器的效率与可靠性。
• 应用模型筛选（SIS）并结合投影得分，从大量生成的表达式中筛选出相关特征。
• 在子空间 𝒮 上执行 ℓ₀-正则化优化，以识别回归或分类任务中的最优 n 维描述符。

Figure 1: A demonstration of the new representation of the features in the SISSO++ code. The feature is stored as the root of the tree (represented by the thick border), the primary features are the leaves, and the rung corresponds to the height of the tree, i.e. the longest path between each leaf a

实验结果

研究问题

• RQ1 如何使 SISSO 中的符号回归更具表达能力，从而能够发现复杂且非线性的模型？
• RQ2 能否系统性地引入语法约束于符号回归中，以确保物理一致性与数值稳定性？
• RQ3 多残差学习如何提升 SISSO 模型的准确度与收敛速度？
• RQ4 特征的参数化优化对模型性能与可解释性有何影响？
• RQ5 如何提升 SISSO 求解器在真实材料科学应用中的计算效率与可靠性？

主要发现

• 二叉表达式树表示法可完全控制生成特征的单位、定义域与值域，减少数值误差并确保物理一致性。
• 参数化 SISSO 允许在特征生成过程中优化参数，从而发现非线性模型，已在预测热导率中得到验证。
• 与单残差方法相比，多残差学习将 SIS 子空间大小减少了 90%以上，显著加快了收敛至高精度模型的速度。
• 在使用 50 个残差时，SISSO 几乎完美恢复了含噪声的二维合成模型，而单残差学习需超过 400 个特征才能达到类似性能。
• 分类问题中采用线性规划求解显著提升了求解器的稳定性与效率，尤其在高维描述符空间中表现更优。
• SISSO++ 代码实现了符号回归在材料发现中可重现、模块化且可扩展的应用，所有数据与脚本均公开可用。

Figure 3: A comparison of the expressions found non-parametric (a, c, and e) and parametric SISSO (b, d, and f) for a Lorentzian (a, b, e, and f) and sin (c, d) function. Blue dots represent the training data, and the red line represents the expressions found by SISSO. The parameterization scheme ei