[论文解读] Tucker Tensor Regression and Neuroimaging Analysis

Xiaoshan Li, Hua Zhou+1 more|arXiv (Cornell University)|Apr 20, 2013

Tensor decomposition and applications参考文献 23被引用 19

一句话总结

本文提出了一种Tucker张量回归模型，利用Tucker分解在张量协变量中利用低秩结构，以高效估计高维神经影像数据。该方法在Kullback-Leibler散度下实现了对最优Tucker近似的的一致估计，并在模拟和真实fMRI数据中优于基于CP的模型，尤其在正则化条件下，实现了更低的注意力缺陷多动障碍（ADHD）分类误分类误差。

ABSTRACT

Large-scale neuroimaging studies have been collecting brain images of study individuals, which take the form of two-dimensional, three-dimensional, or higher dimensional arrays, also known as tensors. Addressing scientific questions arising from such data demands new regression models that take multidimensional arrays as covariates. Simply turning an image array into a long vector causes extremely high dimensionality that compromises classical regression methods, and, more seriously, destroys the inherent spatial structure of array data that possesses wealth of information. In this article, we propose a family of generalized linear tensor regression models based upon the Tucker decomposition of regression coefficient arrays. Effectively exploiting the low rank structure of tensor covariates brings the ultrahigh dimensionality to a manageable level that leads to efficient estimation. We demonstrate, both numerically that the new model could provide a sound recovery of even high rank signals, and asymptotically that the model is consistently estimating the best Tucker structure approximation to the full array model in the sense of Kullback-Liebler distance. The new model is also compared to a recently proposed tensor regression model that relies upon an alternative CANDECOMP/PARAFAC (CP) decomposition.

研究动机与目标

• 解决在将神经影像数据作为张量分析时，经典回归面临的超高维性和结构损失问题。
• 开发一种灵活的低秩张量回归框架，以保留多维影像数据中的空间结构。
• 比较Tucker和CP张量分解在估计精度、模型灵活性和计算效率方面的表现。
• 基于Kullback-Leibler散度，建立Tucker估计在近似完整数组模型中的渐近一致性。
• 通过模拟实验和基于降维张量预测变量的ADHD真实fMRI分类，展示该方法的实际应用价值。

提出的方法

• 该模型使用Tucker分解，将回归系数数组表示为核心张量与各模式上因子矩阵的乘积，从而减少自由参数的数量。
• 广义线性模型假设响应变量期望的链接函数，其线性预测变量涉及系数数组与张量预测变量之间的内积。
• 开发了一种快速的交替方向乘乘法（ADMM）算法，以在广义线性模型框架下高效估计Tucker参数。
• 通过在Tucker核心张量和因子矩阵上应用组lasso惩罚项实现正则化，以提高估计稳定性并防止过拟合。
• 通过小波变换（Haar和Daubechies D4）实现降维，以在Tucker建模前减小原始图像张量的尺寸。
• 模型选择采用样本量与参数数量之比的启发式规则，确保在正态和逻辑回归设置下的稳定性。

实验结果

研究问题

• RQ1 Tucker张量回归能否为具有复杂、非精确低秩信号的神经影像数据，提供比基于CP的张量回归更灵活、更准确的替代方案？
• RQ2 与向量化张量协变量相比，Tucker分解如何更好地保留空间结构并提高估计效率？
• RQ3 在Kullback-Leibler散度下，Tucker估计近似完整数组模型的渐近行为如何？
• RQ4 在ADHD等真实神经影像数据集（如fMRI数据）中，正则化和降维对分类性能有何影响？
• RQ5 在高维影像回归中，Tucker与CP张量模型在计算效率和预测准确性方面的相对表现如何？

主要发现

• 根据渐近理论，Tucker张量回归模型在Kullback-Leibler散度意义下，始终一致地估计出对完整数组模型的最优Tucker近似。
• 在模拟实验中，Tucker模型成功恢复了高秩信号，表现出对复杂底层结构的鲁棒性。
• 在真实ADHD fMRI数据中，正则化Tucker模型实现了0.320的误分类误差率（使用Daubechies D4小波和10×12×10降维尺寸），优于所有其他测试模型。
• 在所有配置中，正则化Tucker模型的误差率最低，相比基于CP的模型有3.3%至10%的改进。
• 拟合时间在Tucker和CP模型之间相当，Tucker模型在完整模型拟合中更为高效（例如，10×12×10数据下正则化模型的拟合时间分别为1.92秒和1.90秒），尽管在非正则化设置下CP模型更慢。
• Tucker模型在各模式上灵活调整秩参数（例如，R₁=2，R₂=2，R₃=3）的能力，使其在模型复杂度与样本量约束之间实现了比固定秩CP模型更优的权衡。