[论文解读] Recovery Guarantees for Quadratic Tensors with Limited Observations

Hongyang Zhang, Vatsal Sharan+2 more|arXiv (Cornell University)|Oct 31, 2018

Tensor decomposition and applications参考文献 43被引用 1

一句话总结

本文在观测受限条件下建立了二次张量模型的恢复保证，表明仅需与维度呈线性关系的样本数量，即可使非凸均方误差目标函数的所有局部极小值均为全局极小值，从而实现精确的张量恢复。此外，本文进一步证明凸松弛方法在样本数量线性增长时亦可实现二次张量的精确恢复，其在低观测条件下优于CP模型。

ABSTRACT

We consider the tensor completion problem of predicting the missing entries of a tensor. The commonly used CP model has a triple product form, but an alternate family of quadratic models which are the sum of pairwise products instead of a triple product have emerged from applications such as recommendation systems. Non-convex methods are the method of choice for learning quadratic models, and this work examines their sample complexity and error guarantee. Our main result is that with the number of samples being only linear in the dimension, all local minima of the mean squared error objective are global minima and recover the original tensor accurately. The techniques lead to simple proofs showing that convex relaxation can recover quadratic tensors provided with linear number of samples. We substantiate our theoretical results with experiments on synthetic and real-world data, showing that quadratic models have better performance than CP models in scenarios where there are limited amount of observations available.

研究动机与目标

• 为日益广泛应用于推荐系统中的二次张量模型解决张量补全问题。
• 分析非凸优化方法在学习二次张量时的样本复杂度与误差保证。
• 证明在样本数量与维度呈线性关系时，均方误差目标函数的所有局部极小值均为全局最优。
• 展示凸松弛方法在样本数量线性增长时亦可实现二次张量的精确恢复。
• 通过实验验证，在观测稀疏时二次模型相较于CP模型表现更优。

提出的方法

• 提出一种基于最小化二次张量模型均方误差的非凸优化框架。
• 分析非凸目标函数的优化景观，证明在样本规模为线性时，所有局部极小值均为全局极小值。
• 应用低秩矩阵与张量恢复领域的技术，推导出针对二次模型的理论保证。
• 将凸松弛作为替代方法，证明其在相同线性样本条件下可实现精确恢复。
• 通过合成数据与真实世界数据实验，对比在观测受限条件下与CP模型的性能表现。
• 建立非凸与凸恢复方法在二次张量上的理论联系。

实验结果

研究问题

• RQ1 非凸优化方法是否可在仅线性样本复杂度下恢复二次张量？
• RQ2 在观测受限条件下，二次张量模型的均方误差目标函数的所有局部极小值是否均为全局最优？
• RQ3 凸松弛方法是否可在样本数量线性增长时实现二次张量的精确恢复？
• RQ4 在观测稀疏时，二次张量模型与CP模型的性能表现如何比较？
• RQ5 针对使用二次模型的张量补全，可建立哪些理论保证？

主要发现

• 当样本数量与张量维度呈线性关系时，非凸均方误差目标函数的所有局部极小值均为全局最优，从而确保精确恢复。
• 当样本数量与维度呈线性增长时，凸松弛方法同样可实现对二次张量的精确恢复。
• 理论分析为非凸与凸设置下的恢复保证提供了简洁的证明。
• 在合成数据与真实世界数据上的实验结果表明，二次模型在低观测条件下优于CP模型。
• 结果表明，当数据稀缺时，二次模型比CP模型更具样本效率。
• 在最小假设条件下，恢复保证依然成立，使该方法对观测受限情况具有鲁棒性。