[论文解读] No-go Theorem for Acceleration in the Hyperbolic Plane

Linus Hamilton, Ankur Moitra|arXiv (Cornell University)|Jan 14, 2021

3D Shape Modeling and Analysis参考文献 37被引用 6

一句话总结

本文證明了一個不可能定理，顯示即使在具有指數級小噪音的情況下，Nesterov類的加速梯度方法在雙曲平面上的測地線凸優化中也無法存在。關鍵洞見在於，在負曲率空間中，指數級的體積增長使得過去的梯度資訊迅速過時，導致在噪音Oracle下，加速在資訊理論上是不可能的。

ABSTRACT

In recent years there has been significant effort to adapt the key tools and ideas in convex optimization to the Riemannian setting. One key challenge has remained: Is there a Nesterov-like accelerated gradient method for geodesically convex functions on a Riemannian manifold? Recent work has given partial answers and the hope was that this ought to be possible. Here we dash these hopes. We prove that in a noisy setting, there is no analogue of accelerated gradient descent for geodesically convex functions on the hyperbolic plane. Our results apply even when the noise is exponentially small. The key intuition behind our proof is short and simple: In negatively curved spaces, the volume of a ball grows so fast that information about the past gradients is not useful in the future.

研究动机与目标

• 解決長期懸而未決的開放問題：在非正曲率的黎曼流形上，Nesterov類加速是否可能適用於測地線凸優化。
• 證明即使在極小噪音下，雙曲平面上的加速在本質上也是不可能的。
• 形式化直覺：在負曲率空間中，由於體積快速增長，過去的梯度資訊會迅速變得無關緊要。
• 為噪音查詢問題建立一般性的資訊理論下界，適用於優化以外的領域。
• 彙整幾何直覺與彎曲空間中形式化複雜度下界之間的差距。

提出的方法

• 將梯度Oracle問題抽象為一個「噪音查詢遊戲」，其中玩家透過噪音回覆識別隱藏項目。
• 引入一個透明版本的遊戲，玩家僅追蹤剩餘選項的數量，而非後驗分佈。
• 基於每次查詢預期對不確定性減少的對數量，使用資訊理論論證。
• 應用詹森不等式與馬爾可夫不等式，推導出將不確定性減少至僅一個選項所需的最少查詢次數下界。
• 透過將雙曲平面上的凸優化問題離散化為具有大兩兩距離的指數級多個點，將其簡化為噪音查詢遊戲。
• 界定R^3中可能的查詢回答區域體積（函數值與梯度），顯示其在r與噪音參數C上為多項式增長。

实验结果

研究问题

• RQ1 在雙曲平面上，對於測地線凸函數，使用噪音梯度Oracle是否能實現Nesterov類加速？
• RQ2 為何現有的彎曲空間加速方法需要將初始化限制在最佳解的常數鄰域內，或會因直徑的指數依賴而失效？
• RQ3 是否存在根本性的資訊理論障礙，阻止在負曲率空間中實現加速？
• RQ4 雙曲空間中球體體積的指數級增長是否與過去梯度資訊的無關性有關？
• RQ5 查詢回覆空間的結構（函數值與梯度）是否限制了不確定性減少的速率？

主要发现

• 任何使用δ-噪音梯度Oracle，以至少2/3機率在雙曲平面上找到距離最小值r/5以內點的演算法，必須在期望下執行至少Ω(r / (log r + log 1/δ))次查詢，才能成功。
• 即使噪音δ小至指數級，此下界依然成立，表明加速不可能的根源不在噪音大小，而在幾何結構本身。
• 雙曲平面上球體體積的指數級增長導致過去梯度資訊迅速過時，使得基於動量的加速無效。
• 查詢遊戲的抽象化產生了一般性下界：在大小為n的集合中，每次查詢最多減少log(c|X|)的不確定性，則至少需要Ω(log n / log(|X|c))次查詢。
• 可能的查詢回覆體積|X|以r與C的多項式為界，當n = e^{Θ(r)}時，導致查詢複雜度為Ω(r / (log r + log C))。
• 此結果表示，在標準噪音Oracle模型下，即使在光滑且強凸的設定中，雙曲平面上也無法實現全局加速。