[论文解读] NeCPD: An Online Tensor Decomposition with Optimal Stochastic Gradient Descent

Ali Anaissi, Basem Suleiman+1 more|arXiv (Cornell University)|Mar 18, 2020

Tensor decomposition and applications参考文献 28被引用 5

一句话总结

NeCPD 提出了一种基于随机梯度下降（SGD）并结合 Nesterov 加速和基于扰动的鞍点逃逸机制的在线 CP 张量分解方法，以确保全局收敛并实现最优的 $ O(1/T^2) $ 收敛速率。在结构健康监测数据集上的评估表明，与现有在线和离线方法相比，NeCPD 在准确性、稳定性以及损伤定位方面表现更优。

ABSTRACT

Multi-way data analysis has become an essential tool for capturing underlying structures in higher-order datasets stored in tensor $\mathcal{X} \in \mathbb{R} ^{I_1 imes \dots imes I_N} $. $CANDECOMP/PARAFAC$ (CP) decomposition has been extensively studied and applied to approximate $\mathcal{X}$ by $N$ loading matrices $A^{(1)}, \dots, A^{(N)}$ where $N$ represents the order of the tensor. We propose a new efficient CP decomposition solver named NeCPD for non-convex problem in multi-way online data based on stochastic gradient descent (SGD) algorithm. SGD is very useful in online setting since it allows us to update $\mathcal{X}^{(t+1)}$ in one single step. In terms of global convergence, it is well known that SGD stuck in many saddle points when it deals with non-convex problems. We study the Hessian matrix to identify theses saddle points, and then try to escape them using the perturbation approach which adds little noise to the gradient update step. We further apply Nesterov's Accelerated Gradient (NAG) method in SGD algorithm to optimally accelerate the convergence rate and compensate Hessian computational delay time per epoch. Experimental evaluation in the field of structural health monitoring using laboratory-based and real-life structural datasets show that our method provides more accurate results compared with existing online tensor analysis methods.

研究动机与目标

• 为解决批量 CP 分解在在线、高速、非平稳多维数据场景下的局限性。
• 克服现有基于在线 SGD 的 CP 分解方法中收敛缓慢或无法收敛的问题。
• 通过检测并逃离鞍点，确保非凸张量分解中的全局收敛性。
• 在在线 SGD 框架中引入 Nesterov 的加速梯度，以加速收敛。
• 利用基于张量的异常检测实现结构健康监测中的实时损伤检测、定位与严重程度评估。

提出的方法

• NeCPD 采用随机梯度下降（SGD）进行在线 CP 分解，每接收一个新数据批次即完成一次因子分解更新。
• 通过集成 Nesterov 加速梯度（NAG），实现最优的 $ O(1/T^2) $ 收敛速率，优于标准 SGD 的 $ O(1/T) $ 速率。
• 在梯度更新步骤中引入扰动方法，通过添加微小噪声以逃离鞍点，提升全局收敛性。
• 通过建模海森矩阵来检测鞍点，并在优化过程中引导逃逸方向。
• 该算法对所有因子矩阵（包括非时序模式）进行增量式更新，克服了先前在线方法（如 onlineCP）的局限性。
• NeCPD 与一类支持向量机（one-class SVM）结合用于异常检测，通过位置矩阵的 k-最近邻分析实现损伤严重程度估计与定位。

实验结果

研究问题

• RQ1 能否在非凸设置下使在线 CP 分解既高效又具备全局收敛性？
• RQ2 如何有效检测并逃离非凸张量优化中的鞍点？
• RQ3 Nesterov 加速是否能在不增加计算开销的前提下提升在线张量分解的收敛速度？
• RQ4 与现有在线和离线方法相比，NeCPD 在真实世界结构健康监测任务中的表现如何？
• RQ5 NeCPD 能否通过增量更新成功实现多传感器结构数据中的损伤定位？

主要发现

• 在 7 栋建筑数据集上，NeCPD 的 F-score 达到 95±0.01，优于基于 SALS 的一类 SVM（F-score 为 91±0.00）。
• 在桥梁数据集上，NeCPD 成功通过位置矩阵的 k-最近邻分析实现损伤定位，其中传感器 A10 和 A14 在损伤位置表现出显著不同的行为。
• 基于 NeCPD 输出训练的一类 SVM 的决策值能够追踪损伤严重程度趋势，较低的值表示更严重的损伤。
• NeCPD 在损伤定位方面优于 SALS，因为 SALS 无法对位置矩阵 $ B $ 实施增量式更新。
• 该方法在基于实验室和真实场景的结构数据集中均表现出稳定且快速的收敛性，证实了其在在线设置下的鲁棒性。
• NeCPD 基于扰动的鞍点逃逸机制在非凸优化中显著提升了收敛性能，各数据集上表现一致。