[论文解读] On the convergence of higher-order orthogonality iteration

Yangyang Xu|arXiv (Cornell University)|Apr 2, 2015

Tensor decomposition and applications参考文献 17被引用 4

一句话总结

该论文通过引入一种贪心变体，首次在Kurdyka-Łojasiewicz（KL）性质下证明了高阶正交迭代（HOOI）在张量低多线性秩逼近中的全局收敛性。研究证明，若迭代序列存在块非退化聚点，则HOOI收敛至临界点；当初始化点靠近此类临界点时，HOOI收敛至局部最优解，从而解决了HOOI收敛性长期悬而未决的开放问题。

ABSTRACT

The higher-order orthogonality iteration (HOOI) has been popularly used for finding a best low-multilinear-rank approximation of a tensor. However, its iterate sequence convergence is still an open question. In this paper, we first analyze a greedy HOOI, which updates each factor matrix by selecting from the best candidates one that is closest to the current iterate. Assuming the existence of a block-nondegenerate limit point, we establish its global convergence through the so-called Kurdyka-Lojasiewicz (KL) property. In addition, we show that if the starting point is sufficiently close to any block-nondegenerate globally optimal solution, the greedy HOOI produces a sequence convergent to a globally optimal solution. Relating the iterate sequence by the original HOOI to that by the greedy HOOI, we then show that the same convergence results hold for the original HOOI and thus positively address the open question.

研究动机与目标

• 解决高阶正交迭代（HOOI）在张量低多线性秩逼近中是否具有全局收敛性的长期开放问题。
• 通过分析一种贪心变体，建立HOOI的收敛性。
• 在块非退化假设下，证明原始HOOI的收敛性源于其与贪心HOOI的关系。
• 提供在初始化点靠近块非退化局部极大值点时，HOOI收敛至局部最优解的条件。
• 证明在KL性质与块非退化条件下，HOOI生成的多线性子空间序列具有全局收敛性。

提出的方法

• 提出一种贪心HOOI变体，每轮迭代中从候选因子矩阵中选择与当前迭代点最近的一个。
• 利用Kurdyka-Łojasiewicz（KL）性质，在迭代序列存在块非退化聚点的假设下，建立贪心HOOI的全局收敛性。
• 通过证明：若初始点足够接近块非退化局部极大值点，则原始HOOI与贪心HOOI的迭代序列产生相同的多线性子空间投影，从而建立二者之间的联系。
• 将块非退化定义为：在Stiefel流形上，对每个因子矩阵的Hessian矩阵为负定，以确保临界点的稳定性。
• 利用扰动分析与奇异值间隙条件（σ_{r_n}(G_n^k) > σ_{r_n+1}(G_n^k)）确保更新过程中主导子空间的唯一选择。
• 通过证明原始HOOI与贪心HOOI序列在目标函数值与子空间投影上的等价性，将收敛性保证从贪心HOOI传递至原始HOOI。

实验结果

研究问题

• RQ1 高阶正交迭代（HOOI）在张量低多线性秩逼近中是否具有全局收敛性？
• RQ2 在修改后的贪心HOOI变体下，能否在Kurdyka-Łojasiewicz（KL）性质下保证收敛性？
• RQ3 在何种条件下，原始HOOI序列收敛至临界点或局部极大值点？
• RQ4 贪心HOOI与原始HOOI在迭代序列与多线性子空间收敛性方面有何关系？
• RQ5 在何种初始化条件下，HOOI收敛至局部最优多线性子空间？

主要发现

• 若迭代序列存在块非退化聚点，则贪心HOOI全局收敛至临界点及张量逼近问题的块级极大值点。
• 若初始点足够接近块非退化局部极大值点，则贪心HOOI收敛至该局部极大值点。
• 若迭代序列存在块非退化聚点，则原始HOOI在多线性子空间序列上具有全局收敛性。
• HOOI生成的多线性子空间序列收敛至一个极限点，该点为目标函数的临界点及块级极大值点。
• 通过证明：在初始点足够接近块非退化局部极大值点时，原始HOOI的多线性子空间序列与贪心HOOI序列一致，从而确立了原始HOOI的收敛性。
• 块非退化性（等价于Stiefel流形上Hessian矩阵的负定性）是收敛稳定性与局部收敛性保证的充要条件。