[论文解读] Tensor denoising and completion based on ordinal observations

Chan‐Woo Lee, Miaoyan Wang|arXiv (Cornell University)|Feb 16, 2020

Tensor decomposition and applications参考文献 40被引用 4

一句话总结

本文提出了一种多线性累积logit模型，用于从不完整、有序取值的观测中进行低秩张量去噪与补全。该方法引入了一种秩约束的M-估计器，实现了极小极大最优的均方误差，收敛速率为$\mathcal{O}(d^{-(K-1)})$，从而仅需$\tilde{\mathcal{O}}(Kd)$个量化观测即可一致地恢复一个K阶张量。

ABSTRACT

Higher-order tensors arise frequently in applications such as neuroimaging, recommendation system, social network analysis, and psychological studies. We consider the problem of low-rank tensor estimation from possibly incomplete, ordinal-valued observations. Two related problems are studied, one on tensor denoising and the other on tensor completion. We propose a multi-linear cumulative link model, develop a rank-constrained M-estimator, and obtain theoretical accuracy guarantees. Our mean squared error bound enjoys a faster convergence rate than previous results, and we show that the proposed estimator is minimax optimal under the class of low-rank models. Furthermore, the procedure developed serves as an efficient completion method which guarantees consistent recovery of an order-$K$ $(d,\ldots,d)$-dimensional low-rank tensor using only $ ilde{\mathcal{O}}(Kd)$ noisy, quantized observations. We demonstrate the outperformance of our approach over previous methods on the tasks of clustering and collaborative filtering.

研究动机与目标

• 解决在协同过滤和神经影像等应用中常见的、来自不完整、离散、有序取值观测的低秩张量估计挑战。
• 克服现有模型在类别反转下缺乏不变性或在类别合并/拆分下不一致的局限性。
• 为具有有序数据的低秩结构张量去噪与补全开发一种统计最优方法。
• 建立与信息论极限相匹配的理论收敛速率与样本复杂度边界。
• 提供一种实用且一致的算法，用于从高度量化、噪声较大的观测中恢复张量。

提出的方法

• 提出一种多线性累积logit模型，确保回文不变性，使其对有序类别标签的反转具有鲁棒性。
• 构建一种秩约束的M-估计器，从噪声大、量化后的观测中估计低秩信号张量。
• 采用交替非凸优化算法求解估计问题，避免凸松弛带来的计算与统计缺陷。
• 利用Tucker分解从估计的张量中提取主成分，以支持聚类等下游任务。
• 基于Varshamov-Gilbert与Le Cam不等式构建的检验框架，推导出极小极大下界。
• 利用浓度不等式与低秩张量上Frobenius范数的统一界，建立理论保证。

实验结果

研究问题

• RQ1 当观测为有序且高度量化时，张量估计方法能否实现极小极大最优误差率？
• RQ2 为实现低秩张量的一致恢复，所需最少的噪声有序观测数量是多少？
• RQ3 与现有方法相比，该方法在统计效率与收敛速率方面表现如何？
• RQ4 该模型是否能在类别反转下保持不变性，同时在类别合并或拆分下仍保持一致性？
• RQ5 在协同过滤与聚类任务中，该方法是否优于现有的二值或连续张量模型？

主要发现

• 所提出的估计器实现了均方误差界$\mathcal{O}(d^{-(K-1)})$，优于先前工作的$\mathcal{O}(d^{-(K-1)/2})$速率，且在低秩模型下为极小极大最优。
• 该方法保证仅使用$\tilde{\mathcal{O}}(Kd)$个噪声、量化观测，即可一致恢复一个K阶$(d,\ldots,d)$维的低秩张量。
• 累积logit模型确保了回文不变性，并在类别合并/拆分下保持参数解释的一致性，而此前的模型不具备这一特性。
• 数值实验表明，该方法在协同过滤与聚类任务中均优于现有方法，尤其在真实神经影像数据上表现突出。
• 理论分析表明，在所提出的模型下，量化有序观测可达到与连续观测相同的理论信息收敛速率。
• 交替非凸算法在误差率与计算效率方面均优于凸松弛方法，尤其在高阶张量中表现更优。