[论文解读] On block Gaussian sketching for iterative projections

Deanna Needell, Elizaveta Rebrova|arXiv (Cornell University)|May 21, 2019

Sparse and Compressive Sensing Techniques被引用 3

一句话总结

本文介紹並分析了分塊高斯Kaczmarz方法，這是一種新型的迭代投影演算法，結合了分塊Kaczmarz更新與高斯略圖技術，用於求解大規模超定線性系統。該方法在期望下建立了指數收斂性，並識別出一個特定場景——透過正則化實現抗噪恢復——在此場景中，儘管每次迭代的代價較高，其表現仍優於其他方法。

ABSTRACT

The Kaczmarz algorithm is one of the most popular methods for solving large-scale over-determined linear systems due to its simplicity and computational efficiency. This method can be viewed as a special instance of a more general class of sketch and project methods. Recently, a block Gaussian version was proposed that uses a block Gaussian sketch, enjoying the regularization properties of Gaussian sketching, combined with the acceleration of the block variants. Theoretical analysis was only provided for the non-block version of the Gaussian sketch method. Here, we provide theoretical guarantees for the block Gaussian Kaczmarz method, proving a number of convergence results showing convergence to the solution exponentially fast in expectation. On the flip side, with this theory and extensive experimental support, we observe that the numerical complexity of each iteration typically makes this method inferior to other iterative projection methods. We highlight only one setting in which it may be advantageous, namely when the regularizing effect is used to reduce variance in the iterates under certain noise models and convergence for some particular matrix constructions.

研究动机与目标

• 將非分塊版本的Kaczmarz方法的理論收斂保證擴展至分塊高斯略圖變體。
• 分析分塊高斯Kaczmarz方法的數值複雜度與實際性能，相較於現有的迭代投影方法。
• 識別在何種條件下，高斯略圖的正則化特性能帶來實務上的優勢，即使每次迭代的計算成本較高。

提出的方法

• 該方法使用分塊高斯略圖，將當前迭代值投影至由系統矩陣的行塊定義的解子空間上。
• 透過同時處理多個行，將標準Kaczmarz方法推廣，理論上可提升收斂速度。
• 演算法使用隨機高斯矩陣對殘差進行略圖處理，引入正則化，使在噪音數據下迭代值更穩定。
• 利用機率論論證與矩陣集中不等式，在期望下分析收斂性。
• 理論分析聚焦於每次迭代下誤差的期望下降量，從而建立指數收斂速率。

实验结果

研究问题

• RQ1 分塊高斯Kaczmarz方法是否如非分塊情況一般，在期望下實現指數快速收斂？
• RQ2 分塊高斯Kaczmarz方法在收斂速度與每次迭代計算成本之間的權衡為何？
• RQ3 在何種設定下，高斯略圖的正則化效果能為實務帶來優勢，超越標準Kaczmarz方法？

主要发现

• 分塊高斯Kaczmarz方法在期望下實現指數收斂，將非分塊版本的理論保證予以延伸。
• 儘管收斂速度快，但該方法的高每次迭代複雜度通常使其效率低於其他迭代投影方法。
• 高斯略圖的正則化效果可降低在某些噪音模型下的迭代值變異，提升穩定性。
• 該方法僅在噪音魯棒性與變異減少至關重要的特定場景中具有優勢，例如病態或含噪音的線性系統。
• 大量實驗支援理論發現，並確認收斂速度與計算成本之間的權衡。