[论文解读] Spline Regression with Automatic Knot Selection

Vivien Goepp, Olivier Bouaziz+1 more|arXiv (Cornell University)|Aug 6, 2018

Advanced Numerical Analysis Techniques参考文献 7被引用 11

一句话总结

本文提出A-spline，一种通过在密集初始节点集上使用自适应岭惩罚的新型自动节点选择方法，用于样条回归。通过迭代移除无关节点，A-spline生成稀疏且可解释的模型，其预测性能与P-splines相当，同时利用低阶样条（0阶或1阶）实现变化点检测。

ABSTRACT

In this paper we introduce a new method for automatically selecting knots in spline regression. The approach consists in setting a large number of initial knots and fitting the spline regression through a penalized likelihood procedure called adaptive ridge. The proposed method is similar to penalized spline regression methods (e.g. P-splines), with the noticeable difference that the output is a sparse spline regression with a small number of knots. We show that our method called A-spline, for adaptive splines yields sparse regression models with high interpretability, while having similar predictive performance similar to penalized spline regression methods. A-spline is applied both to simulated and real dataset. A fast and publicly available implementation in R is provided along with this paper.

研究动机与目标

• 解决样条回归中节点数量与位置选择的挑战，该问题显著影响模型拟合与可解释性。
• 开发一种计算高效的自动节点选择方法，无需依赖预设节点位置或穷举搜索。
• 生成比标准惩罚样条方法（如P-splines）更具可解释性的稀疏回归模型，同时保持相近的预测准确性。
• 通过使用低阶样条（0阶和1阶）将样条回归扩展至自动变化点检测。
• 为标准线性模型和广义线性模型设置提供快速、公开可用的R实现。

提出的方法

• 在预测变量的定义域上初始化大量均匀分布的节点。
• 使用B样条作为基函数表示样条，形成需估计系数的线性模型。
• 对样条系数应用自适应岭惩罚，通过将不相关节点的系数收缩至零来促进稀疏性。
• 使用迭代算法，基于惩罚似然准则，依次移除系数估计值最小的节点。
• 使用贝叶斯信息准则（BIC）或扩展BIC（EBIC）选择最终模型，以平衡偏差-方差权衡。
• 通过在指数族分布中应用相同的惩罚似然框架，将该方法扩展至广义线性模型（GLMs）。

实验结果

研究问题

• RQ1 基于自适应岭选择的惩罚似然方法是否能在保持预测准确性的同时实现样条回归中的自动节点选择？
• RQ2 A-spline在预测误差和模型稀疏性方面与P-splines相比表现如何？
• RQ3 A-spline能否通过稀疏节点选择有效检测均值（0阶）或斜率（1阶）的变化点？
• RQ4 A-spline在大规模数据集，特别是GLM设置下的计算效率如何？
• RQ5 A-spline在多变量设置或替代样条基（如M-splines、I-splines）下，对特定建模任务的泛化能力如何？

主要发现

• 在模拟研究中，A-spline的预测性能与P-splines相当，各类信噪比下的均方误差相似。
• 与P-splines相比，A-spline生成的模型显著更稀疏，在模拟变化点检测任务中仅选择了9个节点，远少于密集节点网格。
• 在分段常数回归（0阶）中，A-spline在合成信号中成功检测到9个变化点，与真实情况高度一致，且在某些情况下优于PELT方法。
• 在LIDAR数据集中，A-spline在x ≈ 567 m和607 m处识别出两个斜率变化点，与MARS检测到的断点（558 m和612 m）非常接近。
• 在煤矿灾难数据（泊松GLM）中，A-spline使用3个节点和3阶样条，仅选择3个节点，生成平滑且可解释的拟合效果，与P-splines相当但正则化更强。
• A-spline的R实现对n ≈ 10,000个观测值和k ≈ 1,000个初始节点的场景，运行时间约为1秒，展现出极高的计算效率。