[论文解读] Sparse Low-rank Tensor Response Regression

Will Wei Sun, Lexin Li|arXiv (Cornell University)|Sep 15, 2016

Tensor decomposition and applications被引用 2

一句话总结

本文提出了一种新型张量回归模型——稀疏张量响应（STORE）回归，该模型通过整合逐元素稀疏性和低秩结构，能够处理对称与非对称的张量响应。该方法采用交替优化算法估计参数，并获得了非渐近误差界，揭示了计算效率与统计收敛速率之间的有利权衡，即使在张量维度随样本量呈指数增长的情况下，也能在高斯噪声下实现快速误差率。

ABSTRACT

Motivated by applications in neuroimaging analysis, we propose a new regression model, Sparse TensOr REsponse regression (STORE), with a tensor response and a vector predictor. STORE embeds two key sparse structures: element-wise sparsity and low-rankness. It can handle both a non-symmetric and a symmetric tensor response, and thus is applicable to both structural and functional neuroimaging data. We formulate the parameter estimation as a non-convex optimization problem, and develop an efficient alternating updating algorithm. We establish a non-asymptotic estimation error bound for the actual estimator obtained from the proposed algorithm. This error bound reveals an interesting interaction between the computational efficiency and the statistical rate of convergence. When the distribution of the error tensor is Gaussian, we further obtain a fast estimation error rate which allows the tensor dimension to grow exponentially with the sample size. We illustrate the efficacy of our model through intensive simulations and an analysis of the Autism spectrum disorder neuroimaging data.

研究动机与目标

• 解决在神经影像学中同时包含结构与功能数据的高维张量响应建模挑战。
• 在回归参数张量上同时施加逐元素稀疏性和低秩结构，以提升可解释性与估计精度。
• 在非凸优化框架下，开发一种计算高效的参数估计算法。
• 建立非渐近误差界，量化计算效率与统计收敛速率之间的权衡。
• 在真实神经影像数据上验证该方法的有效性，特别是在自闭症谱系障碍研究中的表现。

提出的方法

• 将参数估计建模为一个非凸优化问题，联合施加逐元素稀疏性和低秩结构于回归系数张量上。
• 提出一种受交替方向乘乘算法（ADMM）启发的算法，迭代更新低秩因子矩阵与稀疏分量。
• 引入基于Schur补的重构方法，以在优化过程中提升计算效率。
• 推导出依赖于张量维度、样本量与噪声分布的非渐近估计误差界。
• 在高斯误差假设下，实现快速估计误差率，允许张量维度相对于样本量呈指数增长。
• 利用张量分解技术（如Tucker或CP分解）表示回归参数张量中的低秩结构。

实验结果

研究问题

• RQ1 如何在保持通过稀疏性实现可解释性、并通过低秩结构实现降维的同时，有效建模神经影像学中的张量响应？
• RQ2 在非凸张量回归中，计算效率与统计估计精度之间的理论关系是什么？
• RQ3 当张量维度随样本量呈指数增长且在高斯噪声下时，所提方法能否实现快速收敛速率？
• RQ4 与标准张量回归模型相比，逐元素稀疏性与低秩结构的结合在多大程度上提升了估计性能？
• RQ5 STORE模型在真实神经影像数据集上，特别是在检测自闭症谱系障碍中细微模式方面，相较于现有方法的优越程度如何？

主要发现

• 所提出的STORE模型能够有效处理对称与非对称张量响应，使其适用于多种神经影像数据类型。
• 交替更新算法实现了非渐近估计误差界，揭示了计算效率与统计收敛速率之间的权衡。
• 在高斯误差假设下，估计误差率显著改善，使得张量维度可随样本量呈指数增长。
• 大量模拟实验表明，STORE在估计精度与稀疏性恢复方面均优于基线方法。
• 在自闭症谱系障碍神经影像数据的分析中，STORE识别出了与已知神经解剖学发现一致的、具有生物学合理性的脑功能与结构模式。
• 即使在传统张量回归方法因过拟合或计算不可行而失效的高维设置下，该方法仍保持了优异性能。