[论文解读] Optimal Estimation of Brownian Penalized Regression Coefficients

Paramahansa Pramanik, Alan M. Polansky|arXiv (Cornell University)|Jul 5, 2021

Neural Networks and Applications被引用 5

一句话总结

本文提出了一种基于路径积分的新型框架，用于在功能数据分析中对随时间变化的回归系数进行最优估计，其中系数通过布朗运动演化，并通过随机微分方程施加惩罚。通过构建一个量子拉格朗日量并推导出薛定谔型方程，该方法在各种惩罚方案下（包括LASSO、融合LASSO和三次样条）通过一阶最优性条件获得系数的闭式解。

ABSTRACT

In this paper we introduce a new methodology to determine an optimal coefficient of penalized functional regression. We assume the dependent, independent variables and the regression coefficients are functions of time and error dynamics follow a stochastic differential equation. First we construct our objective function as a time dependent residual sum of square and then minimize it with respect to regression coefficients subject to different error dynamics such as LASSO, group LASSO, fused LASSO and cubic smoothing spline. Then we use Feynman-type path integral approach to determine a Schrödinger-type equation which have the entire information of the system. Using first order conditions with respect to these coefficients give us a closed form solution of them.

研究动机与目标

• 开发一种动态的、随时间变化的框架，用于估计当预测变量和系数均为时间函数时的回归系数。
• 通过将随机微分方程（SDE）的动力学引入系数演化过程，解决传统惩罚回归方法的局限性。
• 通过在惩罚结构中嵌入布朗运动，将现有方法从静态或确定性系数模型推广至动态情形。
• 利用费曼型路径积分方法，推导出在各种惩罚类型下回归系数的闭式解。
• 建立一个受量子力学启发的框架，推广经典优化方法，并克服庞特里亚金最大值原理的局限性。

提出的方法

• 将随时间变化的残差平方和（RSS）作为具有时变系数的功能回归的目标函数。
• 使用包含与系数和协变量相关的漂移和扩散分量的随机微分方程（SDE）来建模误差过程。
• 在小时间区间内利用正惩罚参数构造一个量子拉格朗日量，并应用费曼型路径积分以编码系统动力学。
• 从路径积分推导出一个薛定谔型方程，该方程捕捉了系统的完整概率性和动态行为。
• 对薛定谔方程应用一阶条件，以获得最优回归系数的闭式表达式。
• 使用Wick旋转和渐近展开简化薛定谔方程，并推导出每个系数的最优性条件。

实验结果

研究问题

• RQ1 当系数的动力学遵循随机微分方程时，如何最优估计时变回归系数？
• RQ2 布朗运动在功能回归系数正则化中的作用是什么，其作用是否超越标准惩罚方法？
• RQ3 路径积分公式能否在动态设置下，对LASSO、融合LASSO和样条惩罚下的回归系数产生闭式解？
• RQ4 费曼路径积分方法如何推广经典优化方法，以处理具有不可微惩罚项的功能回归？
• RQ5 在该惩罚回归框架中，路径积分存在的条件和收敛性由什么保证？

主要发现

• 在漂移和扩散系数满足温和正则性条件时，路径积分公式成立，如引理1和引理2所证明。
• 从路径积分推导出一个薛定谔型方程，该方程编码了系统的完整动力学，从而实现最优系数估计。
• 通过将一阶最优性条件应用于薛定谔方程，获得了回归系数的闭式解。
• 对于LASSO及相关惩罚，该方法假设系数非零以避免不可微性问题，从而获得可处理的解。
• 通过在惩罚中将基函数表示为h(X_ij')，该框架可推广至基于样条的模型，示例8展示了动态三次样条平滑。
• 最优系数β_j'(s)满足由有效拉格朗日量的偏导数导出的一阶条件，从而形成一个可解的方程组。