[论文解读] Uncertainty quantification for nonconvex tensor completion: Confidence intervals, heteroscedasticity and optimality

Changxiao Cai, H. Vincent Poor+1 more|arXiv (Cornell University)|Jun 15, 2020

Sparse and Compressive Sensing Techniques被引用 11

一句话总结

本文在噪声和不完整观测条件下，为非凸张量补全建立了分布理论，实现了对未观测张量元素和因子的可信、数据驱动的置信区间。通过实现不可再改进的 ℓ₂ 估计精度，完全适应异方差噪声和未知误差分布，无需先验知识，建立了统计最优性。

ABSTRACT

We study the distribution and uncertainty of nonconvex optimization for noisy tensor completion -- the problem of estimating a low-rank tensor given incomplete and corrupted observations of its entries. Focusing on a two-stage estimation algorithm proposed by Cai et al. (2019), we characterize the distribution of this nonconvex estimator down to fine scales. This distributional theory in turn allows one to construct valid and short confidence intervals for both the unseen tensor entries and the unknown tensor factors. The proposed inferential procedure enjoys several important features: (1) it is fully adaptive to noise heteroscedasticity, and (2) it is data-driven and automatically adapts to unknown noise distributions. Furthermore, our findings unveil the statistical optimality of nonconvex tensor completion: it attains un-improvable $\ell_{2}$ accuracy -- including both the rates and the pre-constants -- when estimating both the unknown tensor and the underlying tensor factors.

研究动机与目标

• 在噪声和不完整观测条件下，为非凸张量补全估计器建立严格的分布理论。
• 为未观测的张量元素和潜在张量因子构建有效且短的置信区间。
• 实现对未知噪声异方差性和分布形式的自适应不确定性量化。
• 在 ℓ₂ 估计误差方面，建立非凸张量补全的统计最优性，包括预常数。
• 提供一种无需噪声结构先验知识的数据驱动推断框架。

提出的方法

• 采用基于交替最小二乘法的两阶段非凸优化算法进行张量补全。
• 通过留一法分析和鞅差序列，推导出非凸估计器在张量因子和元素上的联合渐近正态性。
• 提出一种新颖的留一法序列构造方法，以解耦估计误差，并在精细尺度上获得分布保证。
• 通过数据驱动的方差估计，利用估计的标准误构建适应异方差噪声的置信区间。
• 应用适用于张量值随机变量的 Berry-Esseen 型定理，控制分布近似收敛速度。
• 证明非凸估计器在张量和因子估计方面均达到最小最大 ℓ₂ 风险，包括预常数。

实验结果

研究问题

• RQ1 在噪声和不完整数据下，是否可以为非凸张量补全中的未观测张量元素和因子构建有效的置信区间？
• RQ2 非凸估计器在精细尺度上的分布行为如何？能否被精确刻画？
• RQ3 该推断过程能否自适应未知的噪声异方差性和分布形式？
• RQ4 非凸张量补全方法在 ℓ₂ 估计误差方面是否具有统计最优性？
• RQ5 非凸估计器的分布与底层张量结构之间存在何种关系？

主要发现

• 非凸估计器在张量及其因子的估计中均实现了不可再改进的 ℓ₂ 估计误差率，包括最优预常数。
• 张量元素和因子的置信区间有效且短，覆盖概率渐近精确。
• 该方法完全自适应噪声异方差性，无需事先知晓噪声方差或分布。
• 推断框架为数据驱动，无需调参或对噪声分布做假设。
• 分布理论可延伸至精细尺度，支持高精度不确定性量化。
• 理论保证得到数值实验的支持，实验表明覆盖准确且区间紧密。