[论文解读] Optimal dictionary for least squares representation

Mohammed Rayyan Sheriff, Debasish Chatterjee|arXiv (Cornell University)|Mar 7, 2016

Sparse and Compressive Sensing Techniques参考文献 23被引用 4

一句话总结

本文提出了一种算法框架，用于构建 $ε$-最优字典，以最小化具有已知二阶统计特性的随机向量的表示系数的期望 $ε$-范数。通过利用从协方差结构导出的对称正半定矩阵的秩-1分解，该方法在多项式时间内计算出最优字典及其相应的重构方案，实现了给定字典大小 $K$ 下系数平均 $ε$-范数的理论最小值。

ABSTRACT

Dictionaries are collections of vectors used for representations of random vectors in Euclidean spaces. Recent research on optimal dictionaries is focused on constructing dictionaries that offer sparse representations, i.e., $\ell_0$-optimal representations. Here we consider the problem of finding optimal dictionaries with which representations of samples of a random vector are optimal in an $\ell_2$-sense: optimality of representation is defined as attaining the minimal average $\ell_2$-norm of the coefficients used to represent the random vector. With the help of recent results on rank-$1$ decompositions of symmetric positive semidefinite matrices, we provide an explicit description of $\ell_2$-optimal dictionaries as well as their algorithmic constructions in polynomial time.

研究动机与目标

• 解决具有已知二阶统计特性的随机向量的字典构造问题，以最小化表示系数的期望 $ε$-范数。
• 通过协方差导出矩阵的秩-1分解，显式表征 $ε$-最优字典。
• 开发一种多项式时间算法，用于计算此类最优字典及其相应的重构方案。
• 通过证明该解在给定字典大小 $K$ 下实现了系数平均 $ε$-范数的最小可能值，建立解的理论最优性。
• 将该框架扩展至一般子空间和有限维随机向量表示，包括控制理论中的应用。

提出的方法

• 从协方差矩阵的平方根 $Σ_V^{1/2}$ 和 $Σ_V$ 的像基 $B$ 导出一个对称正半定矩阵 $H^*$。
• 构造一个缩放矩阵 $H = \frac{K}{\operatorname{tr}(\Sigma^{1/2})} (B^{ op}B)^{-1/2} \Sigma^{1/2} (B^{ op}B)^{-1/2}$，以定义目标秩-1分解。
• 应用秩-1分解算法（算法1）将 $H$ 分解为秩-1矩阵之和 $\sum_{i=1}^K \delta_i^* \delta_i^{*\top} = H^*$。
• 通过变换 $d_i^* = B \delta_i^*$ 将所得向量 $\delta_i^*$ 映射回原始空间 $\mathbb{R}^n$，得到最终的字典向量。
• 将重构方案定义为 $f^*(v) = (D^*)^+ v$，其中 $D^* = [d_1^* \; \cdots \; d_K^*]$，$(\cdot)^+$ 表示 Moore-Penrose 伪逆。
• 确保解满足约束 $\sum_{i=1}^K \delta_i^{*\top} (B^{ op}B) \delta_i^* = 1$，以保证在系数空间中的最优能量效率。

实验结果

研究问题

• RQ1 具有已知二阶统计特性的随机向量的表示系数的期望 $ε$-范数最小化的字典具有何种结构？
• RQ2 能否利用凸优化和矩阵分解技术，在多项式时间内构造出 $ε$-最优字典？
• RQ3 最优字典如何以协方差矩阵和表示子空间维数为参数进行参数化？
• RQ4 系数平均 $ε$-范数的理论下界是什么？该下界能否通过有限字典实现？
• RQ5 所提方法如何推广至子空间及控制理论应用（如能量最小化状态转移）？

主要发现

• 存在 $ε$-最优字典，其特征为从协方差矩阵平方根和随机向量像基导出的矩阵的秩-1分解。
• 目标函数的最优值（系数的期望 $ε$-范数）为 $\frac{(\operatorname{tr}(\Sigma^{1/2}))^2}{K}$，这是大小为 $K$ 的字典可实现的理论最小值。
• 该算法通过矩阵分解和线性代数运算，在多项式时间内构造出最优字典及其重构方案。
• 该方法可推广至任意子空间 $X_V \subset \mathbb{R}^n$，字典由 $\operatorname{image}(\Sigma_V)$ 的基构造而成。
• 最优字典确保表示系数的平均能量最小，满足 $\sum_{i=1}^K \delta_i^{*\top} (B^{ op}B) \delta_i^* = 1$，对应于每单位系数的单位能量成本。
• 该框架适用于控制系境，可通过最小化控制输入的 $ε$-范数，实现能量最小化状态转移。