[论文解读] On the existence of Optimal Subspace Clustering Models

Akram Aldroubi, Romain Tessera|arXiv (Cornell University)|Aug 27, 2010

Bayesian Methods and Mixture Models参考文献 19被引用 3

一句话总结

本文在有限维与无限维希尔伯特空间中建立了最优子空间聚类模型存在的必要与充分条件。在无限维情形下引入了接触包（contact hull）的概念，并证明当子空间族在特定拓扑条件下对闭包运算封闭时，最优逼近存在，从而推广了埃卡特-杨定理，并为平移不变子空间聚类提供了新证明。

ABSTRACT

Given a set of vectors $\F=\{f_1,\dots,f_m\}$ in a Hilbert space $\HH$, and given a family $\CC$ of closed subspaces of $\HH$, the {\it subspace clustering problem} consists in finding a union of subspaces in $\CC$ that best approximates (models) the data $\F$. This problem has applications and connections to many areas of mathematics, computer science and engineering such as the Generalized Principle Component Analysis (GPCA), learning theory, compressed sensing, and sampling with finite rate of innovation. In this paper, we characterize families of subspaces $\CC$ for which such a best approximation exists. In finite dimensions the characterization is in terms of the convex hull of an augmented set $\CC^+$. In infinite dimensions however, the characterization is in terms of a new but related notion of contact hull. As an application, the existence of best approximations from $π(G)$-invariant families $\CC$ of unitary representations of abelian groups is derived.

研究动机与目标

• 确定对给定族中子空间的有限数据集存在最佳逼近的必要与充分条件。
• 将经典埃卡特-杨定理在低秩逼近方面的结果推广至更一般的子空间族，包括无限维情形。
• 为保证最优聚类模型存在的子空间族提供拓扑表征。
• 为在酉群表示下不变的族建立最小子空间逼近性质（MSAP），特别是平移不变空间。
• 通过基于投影算子与谱分解的新理论框架，推广先前在压缩感知与混合线性模型中关于子空间聚类的结果。

提出的方法

• 将非线性最小二乘子空间逼近问题重新表述为在闭子空间族上的最小化问题。
• 引入扩充族 $\mathcal{C}^+$，并在有限维情形下通过其凸包刻画 MSAP。
• 在无限维情形下，定义接触包作为凸包的推广，以刻画 MSAP。
• 利用酉表示下关于对偶群 $\hat{G}$ 的直积分形式表示投影算子的谱分解。
• 证明：具有有界余维的 $\pi(G)$-不变子空间允许可测的生成元族，从而保证极小化元的存在性。
• 将该理论应用于证明 $L^2(\mathbb{R})$ 与 $\ell^2(\mathbb{Z})$ 中平移不变子空间的 MSAP，以及有限循环群作用的情形。

实验结果

研究问题

• RQ1 在何种条件下，闭子空间族 $\mathcal{C}$ 对任意有限数据集 $\mathbf{F}$ 存在最佳逼近？
• RQ2 经典埃卡特-杨定理如何推广至无限维希尔伯特空间及非凸子空间族？
• RQ3 何种拓扑或代数结构可确保在非线性约束下最优子空间聚类模型的存在性？
• RQ4 在酉群表示下，$\pi(G)$-不变子空间的最优逼近是否存在？
• RQ5 对偶群 $\hat{G}$ 与直积分分解在刻画最优聚类模型中起何作用？

主要发现

• 在有限维希尔伯特空间中，子空间族 $\mathcal{C}$ 满足 MSAP 当且仅当其扩充集 $\mathcal{C}^+$ 的凸包包含最优投影算子。
• 在无限维希尔伯特空间中，最优逼近的存在性由 $\mathcal{C}$ 的接触包刻画，这是一种推广凸包的新拓扑构造。
• 希尔伯特空间中所有维数 $\leq r$ 的子空间族满足 MSAP，从而将埃卡特-杨定理推广至无限维情形。
• 对于 $L^2(\mathbb{R})$ 中具有有界余维的 $\pi(G)$-不变子空间，最优逼近的存在性得到保证，从而为 [ACHM07] 中的一个结果提供了新证明。
• 当 $G$ 为离散阿贝尔群时，$\ell^2(\mathbb{Z})$ 或 $\ell^2(\{1,\dots,d\})$ 中所有维数 $\leq k$ 的 $\pi(G)$-不变子空间族满足 MSAP。
• 在直积分分解中，投影算子核的可测或规范正交基的存在性，确保了在不变情形下最优聚类模型的存在性。