[论文解读] Scalable Interpretability via Polynomials

Abhimanyu Dubey, Filip Radenović+1 more|arXiv (Cornell University)|May 27, 2022

Explainable Artificial Intelligence (XAI)被引用 9

一句话总结

该论文提出了一种新型的可扩展多项式加法模型（SPAM），这是一种内在可解释的机器学习模型，通过多项式低秩张量分解高效捕捉所有高阶特征交互，避免组合爆炸。SPAM在包含多达100,000个特征的真实世界基准上实现了最先进性能，其表现与深度神经网络（DNN）和XGBoost相当，同时显著提升了可解释性，该结论已通过人工评估验证。

ABSTRACT

Generalized Additive Models (GAMs) have quickly become the leading choice for inherently-interpretable machine learning. However, unlike uninterpretable methods such as DNNs, they lack expressive power and easy scalability, and are hence not a feasible alternative for real-world tasks. We present a new class of GAMs that use tensor rank decompositions of polynomials to learn powerful, {\em inherently-interpretable} models. Our approach, titled Scalable Polynomial Additive Models (SPAM) is effortlessly scalable and models {\em all} higher-order feature interactions without a combinatorial parameter explosion. SPAM outperforms all current interpretable approaches, and matches DNN/XGBoost performance on a series of real-world benchmarks with up to hundreds of thousands of features. We demonstrate by human subject evaluations that SPAMs are demonstrably more interpretable in practice, and are hence an effortless replacement for DNNs for creating interpretable and high-performance systems suitable for large-scale machine learning. Source code is available at https://github.com/facebookresearch/nbm-spam.

研究动机与目标

• 为解决机器学习中模型性能与可解释性之间的权衡，开发一种可扩展且内在可解释的黑箱模型（如DNN）替代方案。
• 通过多项式表示，克服现有可解释模型的局限性——如可扩展性差、表达能力弱，以及高阶交互建模不可行的问题。
• 利用低秩张量分解避免参数爆炸，实现大规模特征交互建模的高效端到端训练。
• 通过实证验证，多项式基模型在控制交互阶数下可达到非可解释模型的性能，同时提供更优的可解释性。
• 通过人类受试者评估证明，SPAM的解释比LIME或SHAP等事后解释方法更忠实、更易理解。

提出的方法

• SPAM使用系数通过低秩张量分解参数化的多项式函数来建模特征交互，实现高效学习并减少参数数量。
• 模型采用广义加法结构，其中每个特征被非线性变换，交互关系通过完整交互张量的低秩近似捕捉。
• 使用随机梯度下降（SGD）配合反向传播进行端到端训练，支持GPU加速，可扩展至包含100,000+特征的数据集。
• 该方法在多项式系数张量上引入秩约束，控制模型复杂度，实现高效优化，避免组合爆炸。
• SPAM支持特征变换的线性（SPAM-Linear）和神经网络（SPAM-Neural）参数化方式，提升模型容量灵活性。
• 在粗略正则性假设下，建立了理论收敛性和非渐近过剩风险界，表明SPAM随样本量增加趋近最优多项式。

实验结果

研究问题

• RQ1 通过低秩张量分解的多项式模型能否在可扩展的大特征空间中实现高性能的可解释机器学习？
• RQ2 通过多项式分解建模所有可能的特征交互，是否能优于现有可解释模型（如限制交互类型或需昂贵特征选择）？
• RQ3 SPAM能否在包含数十万特征的真实世界表格数据集上，达到与DNN和XGBoost相当的预测精度？
• RQ4 在实际应用中，SPAM的解释是否比LIME或SHAP等事后解释方法更忠实、更易理解？
• RQ5 多项式交互阶数（如成对交互 vs. 更高阶交互）是否显著影响性能？低阶模型是否足以实现高精度？

主要发现

• SPAM在一系列真实世界表格基准上优于所有现有可解释基线模型，在包含最多100,000个特征的数据集上性能与DNN和XGBoost相当。
• 在大多数真实世界表格数据集中，成对特征交互（二阶SPAM）已足以匹配DNN性能，表明交互建模比复杂非线性变换更为关键。
• 人类受试者评估表明，SPAM的解释比事后方法更忠实、更易理解，支持其作为黑箱模型的即插即用替代方案。
• SPAM的参数量相比同类可解释模型减少数个数量级，同时保持高性能，支持SGD和GPU加速的高效训练。
• 理论分析表明，在正则性假设下SPAM可收敛至最优多项式，并提供与经典线性及满秩多项式模型相当的非渐近过剩风险界。
• SPAM在大规模问题上表现出有效可扩展性，而以往的可解释模型因计算不可行或交互建模中的组合爆炸而失效。