[论文解读] When Does Non-Orthogonal Tensor Decomposition Have No Spurious Local Minima?

Maziar Sanjabi, Sina Baharlouei+2 more|arXiv (Cornell University)|Nov 22, 2019

Tensor decomposition and applications参考文献 17被引用 8

一句话总结

本文確立了非正交四階張量分解無虛假局部最小值的條件，證明當條件數 $\kappa = \lambda_{\text{max}}/\lambda_{\text{min}} < 5/4$ 且非一致性為 $\mathcal{O}(1/\sqrt{d})$ 時，所有局部最小值均為全局最優。此外，本文進一步表明，具重啟機制的降階張量功率法可在 $\mathcal{O}(\kappa\sqrt{k\tau^3})$ 的噪音門檻內恢復所有成分，進而實現在輕微非正交性下的全局收斂。

ABSTRACT

We study the optimization problem for decomposing $d$ dimensional fourth-order Tensors with $k$ non-orthogonal components. We derive extit{deterministic} conditions under which such a problem does not have spurious local minima. In particular, we show that if $κ= \frac{λ_{max}}{λ_{min}} &lt; \frac{5}{4}$, and incoherence coefficient is of the order $O(\frac{1}{\sqrt{d}})$, then all the local minima are globally optimal. Using standard techniques, these conditions could be easily transformed into conditions that would hold with high probability in high dimensions when the components are generated randomly. Finally, we prove that the tensor power method with deflation and restarts could efficiently extract all the components within a tolerance level $O(κ\sqrt{kτ^3})$ that seems to be the noise floor of non-orthogonal tensor decomposition.

研究动机与目标

• 確定非正交四階張量分解在何種確定性條件下無虛假局部最小值。
• 分析非正交CP分解的優化景觀，特別是在過完備情形下。
• 為一種具降階與重啟機制的改良張量功率法，建立恢復所有成分的全局收斂性保證。
• 量化在現實假設下，非正交張量分解的可達精度（噪音門檻）。

提出的方法

• 透過流形上的二階最優性條件與曲率分析，排除虛假局部最小值。
• 提出一種降階與重啟策略，以迭代方式提取四階張量的各成分。
• 將非一致性界限與條件數 $\kappa = \lambda_{\text{max}}/\lambda_{\text{min}}$ 作為控制景觀幾何形狀的關鍵參數。
• 應用擾動理論與矩陣集中度理論，以界定成分估計值與真實向量之間的偏移。
• 透過將目標成分的正交補空間上投影，對局部最小值進行特徵描述。
• 將確定性條件轉化為高維度下隨機生成成分時的高機率結果。

实验结果

研究问题

• RQ1 在條件數 $\kappa$ 與非一致性為何種條件下，非正交張量分解無虛假局部最小值？
• RQ2 在輕微非正交性下，具重啟機制的降階張量功率法能否全局恢復四階張量的所有成分？
• RQ3 在非正交成分存在的情況下，此類方法的可達精度（噪音門檻）為何？
• RQ4 張量的譜性質與成分非一致性如何影響優化景觀？
• RQ5 是否可保證一階方法的全局收斂性，而無需初始值接近全局最優解？

主要发现

• 若 $\kappa < 5/4$ 且非一致性為 $\mathcal{O}(1/\sqrt{d})$，則非正交張量分解問題的所有局部最小值均為全局最優。
• 具降階與重啟機制的張量功率法可達至 $\mathcal{O}(\kappa\sqrt{k\tau^3})$ 的噪音門檻，此即非正交分解的根本極限。
• 當 $k\tau \leq 0.05$ 且 $\kappa \leq 5/4$ 時，任一局部最小值 $w$ 滿足 $\|w - u_i\| \leq \mathcal{O}(\kappa\sqrt{k}\tau^3)$（對某成分 $u_i$），表示可達高精度恢復。
• 分析顯示，在所述條件下，虛假局部最小值的不存在性可確立為確定性結果，且在高維度下當成分為隨機時，此條件可高概率滿足。
• 該方法在 $k = \mathcal{O}(d^{0.5})$ 時實現全局收斂，拓展了以往要求 $k = \mathcal{O}(d^{0.25})$ 的範圍。
• 基於曲率的證明技術表明，任一局部最小值處的Hessian矩陣為半正定，進而與虛假最小值的存在性矛盾，於所述邊界下成立。