[论文解读] Semidefinite Relaxations for Best Rank-1 Tensor Approximations

Jiawang Nie, Li Wang|arXiv (Cornell University)|Aug 29, 2013

Tensor decomposition and applications参考文献 29被引用 5

一句话总结

本文提出基于平方和表示的半定松弛方法，用于计算对称与非对称张量的最佳秩-1张量逼近。通过将问题表述为在球面上的多项式优化问题，作者构建了定制化的半定规划模型，并利用牛顿-共轭梯度增广拉格朗日法（SDPNAL）高效求解，在数值实验中始终得到全局最优的秩-1逼近结果。

ABSTRACT

This paper studies the problem of finding best rank-1 approximations for both symmetric and nonsymmetric tensors. For symmetric tensors, this is equivalent to optimizing homogeneous polynomials over unit spheres; for nonsymmetric tensors, this is equivalent to optimizing multi-quadratic forms over multi-spheres. We propose semidefinite relaxations, based on sum of squares representations, to solve these polynomial optimization problems. Their properties and structures are studied. In applications, the resulting semidefinite programs are often large scale. The recent Newton-CG augmented Lagrangian method by Zhao, Sun and Toh is suitable for solving these semidefinite relaxations. Extensive numerical experiments are presented to show that this approach is practical in getting best rank-1 approximations.

研究动机与目标

• 开发可靠且高效的算法，用于计算实张量的最佳秩-1逼近，该问题在计算上属于NP难问题，且高阶时可能不存在解。
• 通过将张量逼近中的非凸、非线性优化问题重新表述为单位球面上的多项式优化问题，解决其挑战。
• 设计紧致且可扩展的半定松弛方法，实现对称与非对称张量情形下的全局优化。
• 克服传统迭代方法（如HOPM和ALS）的局限性，这些方法可能收敛至次优解。

提出的方法

• 将最佳秩-1逼近问题表述为在单位球面上的齐次多项式优化问题：在所有i满足||xⁱ||=1的条件下，最大化|F(x¹,…,xᵐ)|。
• 针对偶数/奇数对称及非对称张量，利用平方和（SOS）表示构建低秩半定松弛。
• 使用牛顿-共轭梯度增广拉格朗日法（SDPNAL）高效求解所得的大规模半定规划问题。
• 应用秩-1恢复启发式方法：若最优解矩阵的秩为1，则其对应向量即为最佳秩-1逼近。
• 对于高阶松弛，采用收敛的半定规划层级以提升解的精度。
• 当松弛矩阵的秩大于1时，应用局部非线性优化（如fmincon）以进一步优化秩-1逼近。

实验结果

研究问题

• RQ1 基于平方和表示的半定松弛方法是否能可靠地计算张量的最佳秩-1逼近？
• RQ2 与标准迭代方法（如HOPM和ALS）相比，所提出的松弛方法在解的质量与收敛性方面表现如何？
• RQ3 求解张量逼近问题中产生的大规模半定松弛问题的可扩展性与数值鲁棒性如何？
• RQ4 在何种条件下，半定松弛能产生秩-1解？何时需要额外的局部优化？
• RQ5 牛顿-共轭梯度增广拉格朗日法（SDPNAL）在求解这些大规模SDP问题时，与内点法相比性能如何？

主要发现

• 所提出的半定松弛方法始终产生全局最优的秩-1逼近，经由解矩阵K(w*)、M(y*)和M(z*)的秩-1性质验证。
• 在(n,m) = (15,3)至(35,3)以及(7,4)至(12,4)的测试案例中，SDP的残差值约为1264–3595，HOPM的残差值约为1295–3622，表明HOPM虽结果尚可但为次优。
• HOPM比所提方法更快（数十秒），但在大多数情况下未能找到最佳逼近，这通过松弛解的秩-1验证得到确认。
• SDPNAL在大多数情况下成功求解了半定松弛问题，但在退化情形（如(n,m)=(10,4)）中遇到数值困难，表明其在处理退化SDP时存在局限性。
• 当松弛矩阵的秩大于1时，应用fmincon或拟牛顿法可进一步改善逼近质量，证实了混合方法的鲁棒性。
• 该方法在对称张量上尤为有效，此时松弛更紧致，收敛更可靠，尤其在偶数阶张量中表现更优。