[论文解读] Tensor Methods for Additive Index Models under Discordance and Heterogeneity

Krishnakumar Balasubramanian, Jianqing Fan+1 more|arXiv (Cornell University)|Jul 17, 2018

Tensor decomposition and applications参考文献 31被引用 12

一句话总结

该论文提出了一种基于张量的矩估计方法，用于在存在不一致性和异质性条件下的加法指数模型，即使索引数量超过数据维度，也能实现多个索引的估计。核心贡献在于建立了收敛速率，并推导出新颖的张量算子范数集中不等式，将张量方法扩展至具有理论保证的过完备和异质性设置。

ABSTRACT

Motivated by the sampling problems and heterogeneity issues common in high- dimensional big datasets, we consider a class of discordant additive index models. We propose method of moments based procedures for estimating the indices of such discordant additive index models in both low and high-dimensional settings. Our estimators are based on factorizing certain moment tensors and are also applicable in the overcomplete setting, where the number of indices is more than the dimensionality of the datasets. Furthermore, we provide rates of convergence of our estimator in both high and low-dimensional setting. Establishing such results requires deriving tensor operator norm concentration inequalities that might be of independent interest. Finally, we provide simulation results supporting our theory. Our contributions extend the applicability of tensor methods for novel models in addition to making progress on understanding theoretical properties of such tensor methods.

研究动机与目标

• 解决高维、异质性大数据中的估计挑战，其中采样来源各不相同，且数据来自多个来源的聚合。
• 在索引数量超过数据维度（过完备设置）的情况下，开发一种用于估计加法指数模型中多个索引参数的方法。
• 为在模型不一致性和异质性条件下的张量估计提供理论保证。
• 推导适用于高阶矩张量的新张量算子范数集中不等式。
• 将张量分解方法的适用范围从传统设置扩展至包含潜在未观测成分的新统计模型。

提出的方法

• 提出一种基于三阶矩张量的矩方法框架，用于估计不一致加法指数模型中的索引。
• 对从观测数据构建的高阶矩张量进行分解，以恢复潜在的索引向量。
• 利用张量算子范数集中不等式来限制估计误差并建立收敛速率。
• 通过 ɛ-网论证控制稀疏向量上经验张量的算子范数。
• 通过允许索引数量 k 超过数据维度 d 的方式处理过完备设置。
• 在低维和高维情形下均推导理论界，通过 r-稀疏单位向量引入稀疏性约束。

实验结果

研究问题

• RQ1 当索引数量超过数据维度时，张量方法能否被扩展以估计加法指数模型中的多个索引？
• RQ2 如何使基于张量的估计在来自多个来源的数据异质性和采样不一致条件下具有鲁棒性？
• RQ3 在过完备和高维设置下，基于张量的估计器的理论收敛速率是什么？
• RQ4 为建立高阶矩张量算子范数界，需要哪些新颖的集中不等式？
• RQ5 通过张量分解的矩方法能否应用于包含未观测潜在成分的模型，如混合模型或对应检索模型？

主要发现

• 在高维设置下，所提张量方法的估计误差界为 O(√(r log d / n)) 和 O((r log d)^{5/2} / n)，且以高概率成立。
• 该方法适用于 k > d 的过完备设置，扩展了以往假设 k ≤ d 的张量方法。
• 推导出新颖的张量算子范数集中不等式，其本身可能具有独立研究价值。
• 在低维和高维情形下均建立了收敛速率，明确体现了对稀疏性 r 和维度 d 的依赖关系。
• 模拟结果支持理论发现，表明在异质性和不一致性条件下具有鲁棒性能。
• 即使响应变量依赖于潜在的无序索引模型集合，该方法仍能成功恢复多个索引向量。