[论文解读] Partially Observed Dynamic Tensor Response Regression

Jie Zhou, Will Wei Sun+2 more|arXiv (Cornell University)|Feb 22, 2020

Tensor decomposition and applications参考文献 65被引用 7

一句话总结

本文提出了一种新颖的非凸张量回归框架，用于处理具有外部协变量的动态、部分观测张量响应，通过在系数张量中利用低秩、稀疏性和时间融合结构，实现优越的估计精度。该方法通过联合建模未观测条目并利用时间平滑性，显著优于现有的张量补全和回归方法，在神经影像学和数字广告应用中表现突出。

ABSTRACT

In modern data science, dynamic tensor data is prevailing in numerous applications. An important task is to characterize the relationship between such dynamic tensor and external covariates. However, the tensor data is often only partially observed, rendering many existing methods inapplicable. In this article, we develop a regression model with partially observed dynamic tensor as the response and external covariates as the predictor. We introduce the low-rank, sparsity and fusion structures on the regression coefficient tensor, and consider a loss function projected over the observed entries. We develop an efficient non-convex alternating updating algorithm, and derive the finite-sample error bound of the actual estimator from each step of our optimization algorithm. Unobserved entries in tensor response have imposed serious challenges. As a result, our proposal differs considerably in terms of estimation algorithm, regularity conditions, as well as theoretical properties, compared to the existing tensor completion or tensor response regression solutions. We illustrate the efficacy of our proposed method using simulations, and two real applications, a neuroimaging dementia study and a digital advertising study.

研究动机与目标

• 为解决在真实应用场景（如神经影像学和数字广告）中，张量响应仅部分观测时的监督张量学习挑战。
• 开发一种方法，联合建模未观测的张量条目并利用时间点间的时间平滑性，从而在忽略缺失性或单独处理条目时提升估计精度。
• 在回归系数张量中引入低秩和稀疏结构，以降低维度并增强可解释性。
• 提供一个理论基础坚实的估计程序，具备有限样本误差界，从而与现有无监督张量补全或标量对张量回归方法区分开来。
• 通过模拟实验和两个真实世界应用（阿尔茨海默病神经影像学和数字广告点击率预测）展示该方法的有效性。

提出的方法

• 提出一种回归模型，其中响应为部分观测的动态张量，预测变量为外部协变量，且系数张量被约束为低秩、稀疏且具有时间平滑性。
• 使用仅在观测张量条目上投影的损失函数，避免对未观测值的假设，从而实现对不完整数据的直接优化。
• 开发一种基于非凸交替方向乘乘法（ADMM）的高效算法，以优化具有结构化正则化的目标函数。
• 在时间点之间施加融合惩罚，以促进系数张量的时间平滑性，捕捉响应-预测变量关系中的时间动态。
• 应用核范数和组套索惩罚，分别诱导系数张量中的低秩和稀疏结构，以实现降维和增强可解释性。
• 推导出算法迭代过程中估计量的有限样本误差界，为收敛性和估计精度提供理论依据。

实验结果

研究问题

• RQ1 如何在考虑缺失数据模式的前提下，建模部分观测动态张量响应与外部协变量之间的关系？
• RQ2 在存在缺失数据的情况下，对系数张量施加哪些结构假设（如低秩、稀疏性、时间平滑性）可提升估计精度？
• RQ3 当应用于高缺失率的真实世界数据时，该方法与现有张量补全和张量回归技术相比表现如何？
• RQ4 该方法能否分别在神经影像学和数字广告数据中检测出具有生物学和行为学意义的模式？
• RQ5 在部分观测设置下，忽略时间平滑性或仅使用完全观测条目会对估计性能产生何种影响？

主要发现

• 所提方法在模拟实验和真实数据中均显著优于张量补全和标量对张量回归方法，尤其在高缺失率情况下（如数字广告中95%缺失）表现更优。
• 在神经影像学研究中，该方法成功识别出已知的萎缩区域（海马体和内侧颞叶），并检测到布罗德曼38区的早期损伤，与阿尔茨海默病病理一致。
• 在数字广告应用中，该方法揭示了‘在线约会’广告在周末点击率更高，而周一较低，而‘投资’类广告在工作日表现更佳，为最优广告投放策略提供依据。
• 该方法表明，忽略时间平滑性或仅分析完全观测条目会导致估计精度显著下降。
• 为算法迭代过程推导出的有限样本误差界，证实了理论一致性，并为方法性能提供了严谨基础。
• 该方法对近乎随机的缺失模式具有鲁棒性，而MAGEE和STORE在缺失率超过95%的数据集中则不适用。