[论文解读] Optimized Compressed Sensing via Incoherent Frames Designed by Convex Optimization

Cristian Rusu, Nuria González‐Prelcic|arXiv (Cornell University)|Jul 9, 2015

Sparse and Compressive Sensing Techniques参考文献 49被引用 5

一句话总结

该论文提出SIDCO，一种基于凸优化的框架设计方法，通过迭代去相关化框架向量，显著优于现有方法，在低冗余度和高冗余度设置下均能有效最小化相互相干性。该方法可确保收敛至低相干性框架，并通过正交变换实现对数据的有效适应，同时保持相干性。

ABSTRACT

The construction of highly incoherent frames, sequences of vectors placed on the unit hyper sphere of a finite dimensional Hilbert space with low correlation between them, has proven very difficult. Algorithms proposed in the past have focused in minimizing the absolute value off-diagonal entries of the Gram matrix of these structures. Recently, a method based on convex optimization that operates directly on the vectors of the frame has been shown to produce promising results. This paper gives a detailed analysis of the optimization problem at the heart of this approach and, based on these insights, proposes a new method that substantially outperforms the initial approach and all current methods in the literature for all types of frames, with low and high redundancy. We give extensive experimental results that show the effectiveness of the proposed method and its application to optimized compressed sensing.

研究动机与目标

• 解决在有限维希尔伯特空间中构建相互相干性最小化的高度非相干框架这一长期挑战。
• 克服先前框架设计方法中启发式参数调优和非凸优化的局限性。
• 开发一种直接作用于框架向量而非格拉姆矩阵的凸优化框架，以实现更好的收敛性和性能。
• 通过在正交变换过程中保持框架非相干性，实现数据自适应字典学习，从而降低重构误差。
• 通过广泛的实验验证，展示在压缩感知应用中的卓越性能。

提出的方法

• SIDCO将非相干框架设计表述为一系列凸优化问题，以最小化不同框架向量之间的最大绝对内积。
• 该方法直接在 R^m 中的框架向量上操作，避免了对格拉姆矩阵的间接优化。
• 通过迭代凸子问题实现向量去相关化，其收敛条件由优化子问题的结构推导得出。
• 该算法被证明可收敛至局部极小值，且在优化框架下，等角紧框架被识别为稳定解。
• 对于数据适应，SIDCO通过普鲁斯特问题实现框架的正交变换，以最小化重构误差，同时保持相互相干性。
• 该方法将框架设计与基于正交旋转的迭代优化相结合，在整个适应过程中保持低相干性。

实验结果

研究问题

• RQ1 直接作用于框架向量的凸优化框架是否能在最小化相互相干性方面优于现有非凸或基于格拉姆矩阵的方法？
• RQ2 所提出的迭代凸优化方案具有何种收敛特性？在何种条件下可收敛至低相干性解？
• RQ3 等角紧框架是否为所提优化问题的局部极小值？这是否可解释该方法的性能表现？
• RQ4 在不降低相干性的前提下，该非相干框架在多大程度上可通过正交变换适配于给定数据集？
• RQ5 与所有现有框架设计技术相比，该方法在相干性降低和压缩感知性能方面表现如何？

主要发现

• SIDCO在所有测试维度和冗余度水平下，均显著低于所有先前方法的相互相干性，涵盖低冗余度和高冗余度场景。
• 该方法收敛可靠，其相干性值接近理论下限，尤其在高维和高冗余度场景中表现卓越。
• 等角紧框架被证明是该优化问题的局部极小值，为方法的有效性提供了理论依据。
• 通过正交旋转将框架适配于图像数据后，最终字典保持了低相干性，同时在8×8图像块上实现了显著的相对重构误差降低。
• 在压缩感知中，该方法优于最先进技术，可在更少测量数下实现成功的稀疏恢复，并降低重构误差。
• 基于普鲁斯特旋转的训练过程在不损害框架非相干性的情况下降低了重构误差，证明其在数据自适应字典学习中的有效性。