[论文解读] Orthogonalized ALS: A Theoretically Principled Tensor Decomposition Algorithm for Practical Use

Vatsal Sharan, Gregory Valiant|arXiv (Cornell University)|Mar 6, 2017

Tensor decomposition and applications参考文献 44被引用 11

一句话总结

本文提出正交化ALS（Orth-ALS），一种对标准交替最小二乘法（ALS）算法在张量分解中的理论性改进。通过在优化过程中定期对因子估计值进行正交化，Orth-ALS在标准无偏性假设下可证明恢复真实低秩张量因子，同时保持标准ALS的计算效率与可扩展性。在合成数据和真实世界数据（包括来自三阶共现张量的词嵌入）上，其因子恢复精度显著优于标准ALS和SVD初始化的ALS，词类比与相似性任务上的性能最高提升达30%。

ABSTRACT

The popular Alternating Least Squares (ALS) algorithm for tensor decomposition is efficient and easy to implement, but often converges to poor local optima---particularly when the weights of the factors are non-uniform. We propose a modification of the ALS approach that is as efficient as standard ALS, but provably recovers the true factors with random initialization under standard incoherence assumptions on the factors of the tensor. We demonstrate the significant practical superiority of our approach over traditional ALS for a variety of tasks on synthetic data---including tensor factorization on exact, noisy and over-complete tensors, as well as tensor completion---and for computing word embeddings from a third-order word tri-occurrence tensor.

研究动机与目标

• 为解决标准交替最小二乘法（ALS）在张量分解中因因子权重非均匀分布而导致的收敛性差与陷入局部最优的问题。
• 开发一种实用的张量分解算法，结合ALS的计算效率与精确因子恢复的强理论保证。
• 提升张量分解对噪声与过完备性的鲁棒性，尤其在稀疏与大规模场景下。
• 通过改进底层分解过程，提升从三阶共现张量中提取的词嵌入质量。

提出的方法

• 在ALS优化循环中引入因子估计值的周期性正交化，以防止多个因子收敛至同一真实成分。
• 通过在每次因子更新后应用正交化过程，修改标准ALS的更新步骤，确保估计因子保持相互正交。
• 基于无偏性假设与谱分析构建理论框架，证明正交化可防止收敛至性能差的局部最优解。
• 采用类似幂迭代的分析方法，界定因子与权重估计误差，表明误差随残差相关性呈二次衰减。
• 将算法应用于精确与噪声张量分解、张量补全及词嵌入学习任务。
• 引入归一化与投影步骤，以维持因子估计的正交性，确保稳定且精确的收敛。

实验结果

研究问题

• RQ1 对ALS进行简单修改——周期性正交化，是否可在标准无偏性假设下保证真实张量因子的恢复？
• RQ2 在存在噪声与过完备性的合成张量上，Orth-ALS是否显著优于标准ALS与SVD初始化的ALS，实现更低的低秩逼近误差？
• RQ3 当应用于三阶词三元共现张量时，Orth-ALS是否能生成比标准ALS更高质量的词嵌入？
• RQ4 在大规模稀疏张量场景下，Orth-ALS的收敛速度与鲁棒性与标准ALS相比如何？

主要发现

• 在合成数据上，即使在非均匀权重与噪声条件下，Orth-ALS始终能恢复真实张量因子，而标准ALS常因陷入局部最优而失败。
• 在精确与噪声合成张量上，Orth-ALS的低秩逼近误差显著优于标准ALS与SVD初始化的ALS。
• 在张量补全任务中，Orth-ALS展现出更优的恢复精度，尤其在过完备与噪声环境中表现突出。
• 在从三阶共现张量学习词嵌入的任务中，Orth-ALS生成的嵌入在类比与相似性任务上的准确率比标准ALS高出近30%。
• 该算法保持了计算效率与可扩展性，适用于大规模稀疏张量，同时具备理论收敛保证。
• 理论分析表明，因子估计误差随残差相关性呈二次衰减，权重估计误差被有界于O(η)，其中η衡量了与正交性的偏离程度。