[论文解读] On the two mutually independent factors that determine the convergence of least-squares projection method

Shukai Du, Nailin Du|arXiv (Cornell University)|Jun 3, 2014

Numerical methods in inverse problems参考文献 5被引用 3

一句话总结

本文識別出兩個相互獨立的幾何因素——核近似性與偏移角——決定了希爾伯特空間中有界線性算子的最小二乘投影方法的收斂性。研究證明，強收斂性成立當且僅當核近似性成立且偏移角 uniformly bounded below $\pi/2$，從而建立了一個幾何框架，用於評估與設計收斂的近似方案。

ABSTRACT

This paper investigates the least-squares projection method for bounded linear operators, which provides a natural regularization scheme by projection for many ill-posed problems. Yet, without additional assumptions, the convergence of this approximation scheme cannot be guaranteed. We reveal that the convergence of least-squares projection method is determined by two independent factors -- the kernel approximability and the offset angle. The kernel approximability is a necessary condition of convergence described with kernel $N(T)$ and its subspaces $N(T){\cap}X_n$, and we give several equivalent characterizations for it (Theorem 1). The offset angle of $X_n$ is defined as the largest canonical angle between space $T^*T(X_n)$ and $T^{\dagger}T(X_n)$ (which are subspaces of $N(T)^\bot$), and it geometrically reflects the rate of convergence (Theorem 2). The paper also presents new observations for the unconvergence examples of Seidman [10, Example 3.1] and Du [2, Example 2.10] under the notions of kernel approximability and offset angle.

研究动机与目标

• 識別在逼近有界線性算子的 Moore-Penrose 逆時，最小二乘投影方法強收斂性的必要與充分條件。
• 透過引入偏移角與核近似性作為獨立且可解釋的因子，提供收斂性的幾何洞察。
• 解決現有收斂準則（如正則化逆算子範數的均勻有界性）缺乏幾何直覺的問題。
• 利用新提出的幾何概念重新分析已知的非收斂範例（Seidman [10], Du [2]），以釐清其失敗機制。

提出的方法

• 引入核近似性的概念，即對逼近算子的核上正交投影的強收斂性，亦即 $\lim_{n\to\infty} P_{\mathcal{N}(T_n)} = P_{\mathcal{N}(T)}$。
• 定義偏移角 $\theta_n$ 為子空間 $T^*T(X_n)$ 與 $T^\dagger T(X_n)$ 在 $\mathcal{N}(T)^\perp$ 內的最大典型角。
• 建立 $T_n^\dagger$ 對 $T^\dagger$ 的強收斂性等價於核近似性與 $\sup_n \theta_n < \pi/2$。
• 提供核近似性的多種等價特徵，包括投影在共軛算子圖上的有界-弱收斂性。
• 利用 $\mathcal{N}(T)^\perp$ 的幾何結構，分析 $T^*T$ 的值域與 $T^\dagger T$ 在 $X_n$ 上的值域之間的互動。
• 推導出形式為 $\|T_n^\dagger y - T^\dagger y\| \leq \sqrt{1 + \tan^2 \theta_n} \cdot \mathrm{dist}(T^\dagger y, X_n)$ 的誤差界，將收斂速率與偏移角連結。

实验结果

研究问题

• RQ1 最小二乘投影方法強收斂性的必要與充分幾何條件為何？
• RQ2 收斂行為如何被分解為獨立且可解釋的因子？
• RQ3 為何某些標準近似方案會失敗收斂？其失敗的幾何性質為何？
• RQ4 偏移角能否用於預測或控制收斂速率？
• RQ5 核近似性與偏移角與傳統收斂準則（如 $\|T_n^\dagger T\|$ 的均勻有界性）有何關係？

主要发现

• 最小二乘投影方法的強收斂性等價於核近似性與 $\sup_n \theta_n < \pi/2$ 同時成立，其中 $\theta_n$ 為偏移角。
• 核近似性等價於 $\lim_{n\to\infty} P_{\mathcal{N}(T_n)} = P_{\mathcal{N}(T)}$，亦等價於共軛算子圖上投影的有界-弱收斂性。
• 當 $\mathcal{N}(T) = \{0\}$ 時，強收斂性成立當且僅當 $\sup_n \theta_n < \pi/2$，且誤差界為 $\|T_n^\dagger y - T^\dagger y\| \leq \sqrt{1 + \tan^2 \theta_n} \cdot \mathrm{dist}(T^\dagger y, X_n)$。
• 當 $\mathcal{N}(T)$ 為有限維且值域閉時，核近似性等價於強收斂性，且對足夠大的 $n$，相同的誤差界成立。
• 偏移角 $\theta_n$ 幾何上量測了在 $\mathcal{N}(T)^\perp$ 內 $T^*T(X_n)$ 與 $T^\dagger T(X_n)$ 之間的夾角，較小的夾角表示更快的收斂速度。
• 若 $T$ 滿足 coercivity 條件 $|\langle Tu,u\rangle| \geq \alpha \|u\|^2$ 且 $|\langle Tu,v\rangle| \leq \beta \|u\|\|v\|$，則 $\sup_n \sqrt{1 + \tan^2 \theta_n} \leq \|T\| \|T^{-1}\| \leq \beta / \alpha$。