[论文解读] On the p-regularized trust region subproblem

Yong Hsia, Ruey-Lin Sheu+1 more|arXiv (Cornell University)|Sep 16, 2014

Advanced Optimization Algorithms Research参考文献 10被引用 4

一句话总结

本文對 p > 2 時的 p-正則化信任域子問題（p-RS）的全局與局部非全局極小點提供了完整的特徵描述，並通過分式函數建立必要且充分的優化條件。研究證明 p-RS 至多有一個局部非全局極小點，並顯示當線性約束數量固定且 p = 4 時，該問題可在多項式時間內求解。

ABSTRACT

The $p$-regularized subproblem (p-RS) is a regularisation technique in computing a Newton-like step for unconstrained optimization, which globally minimizes a local quadratic approximation of the objective function while incorporating with a weighted regularisation term $\fracσ{p} \|x\|^p$. The global solution of the $p$-regularized subproblem for $p=3$, also known as the cubic regularization, has been characterized in literature. In this paper, we resolve both the global and the local non-global minimizers of (p-RS) for $p>2$ with necessary and sufficient optimality conditions. Moreover, we prove a parallel result of Mart\'ınez \cite{Mar} that the (p-RS) for $p>2$, analogous to the trust region subproblem, can have at most one local non-global minimizer. When the (p-RS) is subject to a fixed number $m$ additional linear inequality constraints, we show that the uniqueness of the local solution of the (p-RS) (if exists at all), especially for $p=4$, can be applied to solve such an extension in polynomial time.

研究动机与目标

• 對 p > 2 時的 p-正則化子問題（p-RS）的全局與局部非全局極小點進行完整特徵描述。
• 將 p = 3（三次正則化）與 p = 4 時已知的優化條件推廣至一般 p > 2 的情況。
• 證明 p-RS 至多有一個局部非全局極小點，類似於信任域子問題的性質。
• 展示當 m 個線性不等式約束且 p = 4 時，擴展的 p-RS 問題在 m 固定時可於多項式時間內求解。
• 建立一個透過零空間方法將約束 p-RS 問題降維至低維子問題的求解框架。

提出的方法

• 利用方程 (H + σ‖x*‖^{p−2}I)x* = −c 及 H + σ‖x*‖^{p−2}I 的半正定性，推導出全局優化的必要且充分條件。
• 引入分式函數 h(t) = ‖(H + σtI)⁻¹c‖² − t^{2/(p−2)}，定義於 t ∈ (max{−α₂/σ, 0}, −α₁/σ)，用以特徵描述局部非全局極小點。
• 透過 H 的特徵值分解分析全局極小點的結構，顯示其為單點或以特定點為中心的 k 維球面。
• 應用零空間表示法，透過逐一消除等式約束 a_j^T x = l_j 或 u_j 中的變數，降低約束問題的維度。
• 採用歸納法將 m 個約束問題逐步簡化為一系列 (m−1) 個約束的子問題，並保持相同結構。
• 透過將子問題數量邊界控制在 m × (m−1) × ⋯ × (m−s+1) 內，證明多項式可解性，其中 s 為任意 s+1 個 {a₁,…,aₘ} 列向量線性相關的最小數。

实验结果

研究问题

• RQ1 對於 p > 2 時的 p-RS，一個點為全局極小點的必要且充分條件為何？
• RQ2 能否對 p > 2 時的 p-RS 局部非全局極小點建立明確的優化條件？
• RQ3 對於 p > 2 時的 p-RS，是否會存在多於一個局部非全局極小點，如同信任域子問題一樣？
• RQ4 當線性不等式約束數量固定且 p = 4 時，p-RS 是否可在多項式時間內求解？
• RQ5 對於 p ≠ 4 時的具線性約束的一般 p-RS 問題，其計算複雜度為何？

主要发现

• 對於 p > 2 時的 p-RS，全局極小點存在，且由系統 (H + σ‖x*‖^{p−2}I)x* = −c 及 H + σ‖x*‖^{p−2}I ⪰ 0 決定。
• 即使解集為球面，全局極小點的 ℓ₂ 范數仍唯一確定。
• 當且僅當 x̲ = −(H + σt̲*I)⁻¹c 時，一點為局部非全局極小點，其中 t̲* 為分式函數 h(t) 在 (−α₂/σ, −α₁/σ) 區間內的根，且滿足 h′(t̲*) > 0。
• 對於 p > 2 時的 p-RS，至多有一個局部非全局極小點，此結果延續了信任域子問題中的已知結論。
• 當 p = 4 且線性不等式約束數量 m 固定時，問題可透過遞迴降維至低維子問題的方式在多項式時間內求解。
• 在降維過程中產生的子問題總數，其邊界僅依賴於 m，因此當 m 固定時，可確保多項式時間複雜度。