[论文解读] Optimal learning rates for Kernel Conjugate Gradient regression

Gilles Blanchard, Nicole Krämer|arXiv (Cornell University)|Sep 29, 2010

Sparse and Compressive Sensing Techniques参考文献 24被引用 24

一句话总结

本文為採用早期停止作為正則化手段的核共軛梯度迴歸確立了最佳學習率。當真實迴歸函數屬於再生核Hilbert空間時，證明了收斂速率與最小最大下界（僅相差對數因子）相符；並透過額外的未標記數據，將這些速率推廣至模型錯誤設定的情形，達成與核嶺迴歸及最小二乘支援向量機相當的最前沿性能。

ABSTRACT

We prove rates of convergence in the statistical sense for kernel-based least squares regression using a conjugate gradient algorithm, where regularization against overfitting is obtained by early stopping. This method is directly related to Kernel Partial Least Squares, a regression method that combines supervised dimensionality reduction with least squares projection. The rates depend on two key quantities: first, on the regularity of the target regression function and second, on the intrinsic dimensionality of the data mapped into the kernel space. Lower bounds on attainable rates depending on these two quantities were established in earlier literature, and we obtain upper bounds for the considered method that match these lower bounds (up to a log factor) if the true regression function belongs to the reproducing kernel Hilbert space. If this assumption is not fulfilled, we obtain similar convergence rates provided additional unlabeled data are available. The order of the learning rates match state-of-the-art results that were recently obtained for least squares support vector machines and for linear regularization operators.

研究动机与目标

• 分析採用早期停止正則化之核共軛梯度迴歸的統計收斂行為。
• 確立與已知核嶺迴歸及相關方法的最小最大下界相符之學習速率。
• 將收斂保證推廣至真實迴歸函數不屬於再生核Hilbert空間之情形。
• 證明該方法可達成與最小二乘支援向量機及線性正則化算子相當之最前沿速率。
• 為在資料相依的Krylov子空間中使用共軛梯度法於核學習提供理論依據。

提出的方法

• 該方法使用共軛梯度（CG）迭代在資料相依的Krylov子空間中求解核最小二乘問題，定義為 $\mathcal{K}_m(\mathbf{Y}, K_n) = \text{span}\{\mathbf{Y}, K_n\mathbf{Y}, \dots, K_n^{m-1}\mathbf{Y}\}$。
• 正則化透過早期停止實現，其中CG迭代次數 $m$ 作為模型選擇參數。
• CG解 $\alpha_m$ 透過與 $K_n$ 的矩陣-向量乘積迭代計算，避免顯式求逆核矩陣。
• 理論分析依賴於隨機算子的算子不等式與偏差界，特別是涉及Hilbert-Schmidt範數與特徵值衰減的分析。
• 論文採用廣義正則化框架，其中解表示為 $\alpha = F_\lambda(K_n)\mathbf{Y}$，$F_\lambda$ 為正則化逆函數。
• 在模型錯誤設定下，額外使用未標記資料估算經驗核矩陣，進而於較弱假設下實現速率匹配。

实验结果

研究问题

• RQ1 採用早期停止正則化之核共軛梯度迴歸可達成之最佳學習速率為何？
• RQ2 這些速率與先前文獻所推導之最小最大下界相比如何？
• RQ3 當真實迴歸函數不屬於再生核Hilbert空間時，該方法是否仍可達成最佳速率？
• RQ4 資料在核空間中的本質維度在決定收斂速率時扮演何種角色？
• RQ5 在模型錯誤設定下，未標記資料的可得性如何影響收斂速率？

主要发现

• 當真實迴歸函數屬於再生核Hilbert空間時，本文確立之學習速率與已知最小最大下界相符，僅相差對數因子。
• 在模型錯誤設定下（即 $f^*$ 不在 $\mathcal{H}$ 內），只要額外擁有未標記資料，該方法仍可達成類似之收斂速率。
• 收斂速率被證明為最佳，其表現與核嶺迴歸及最小二乘支援向量機之最前沿結果相符。
• 理論保證透過隨機算子偏差不等式與冪函數算子範數不等式的組合推導而出。
• 分析確認，共軛梯度迭代中的早期停止是一種具強大統計一致性的有效正則化機制。
• 所導出之速率取決於兩個關鍵因素：目標函數的平滑度（正則性）與資料在核產生特徵空間中的本質維度。