[论文解读] The local low-dimensionality of natural images

Olivier J. Hénaff, Johannes Ballé+2 more|arXiv (Cornell University)|Dec 20, 2014

Image and Signal Denoising Methods参考文献 16被引用 7

一句话总结

本文提出了一种自然图像的统计模型，通过使用空间可变的、低维高斯分布来表示局部图像块的滤波器响应。通过优化滤波器以最小化局部激活协方差矩阵的核范数——从而促进内在的低维性——该方法仅基于协方差图即可实现近乎完美的图像重建，展示了其在去噪、压缩和层次化表征学习方面的强大潜力。

ABSTRACT

We develop a new statistical model for photographic images, in which the local responses of a bank of linear filters are described as jointly Gaussian, with zero mean and a covariance that varies slowly over spatial position. We optimize sets of filters so as to minimize the nuclear norms of matrices of their local activations (i.e., the sum of the singular values), thus encouraging a flexible form of sparsity that is not tied to any particular dictionary or coordinate system. Filters optimized according to this objective are oriented and bandpass, and their responses exhibit substantial local correlation. We show that images can be reconstructed nearly perfectly from estimates of the local filter response covariances alone, and with minimal degradation (either visual or MSE) from low-rank approximations of these covariances. As such, this representation holds much promise for use in applications such as denoising, compression, and texture representation, and may form a useful substrate for hierarchical decompositions.

研究动机与目标

• 开发一种自然图像的统计模型，以比全局或固定基模型更有效地捕捉局部结构。
• 通过避免依赖高相干性和计算成本高的固定、过完备词典，解决传统稀疏编码和ICA的局限性。
• 探究自然图像中局部滤波器响应协方差是否本质上具有低维性，以及如何利用这一特性进行表征学习。
• 设计一种滤波器优化目标，以促进局部低维性，而无需假设沿固定轴的稀疏性。
• 评估局部协方差图在图像合成与重建中的实用性，并与基于方差或稀疏编码的方法进行比较。

提出的方法

• 将局部图像块建模为均值为零的多元高斯分布，其协方差矩阵在空间位置上平滑变化。
• 通过在局部激活矩阵上最小化核范数目标来优化一组线性滤波器，以促进低秩、低维结构。
• 使用基于下降法的优化方法，通过将估计的局部协方差图施加于噪声图像上来重建图像。
• 将该方法应用于真实摄影图像以及相位随机化或频谱匹配的噪声图像，以测试低维性效应的鲁棒性和特异性。
• 比较使用协方差图与等基数的方差图的重建质量，以评估协方差结构的重要性。
• 证明局部协方差矩阵的低秩近似可保留感知质量，表明该表征具有鲁棒性和可压缩性。

实验结果

研究问题

• RQ1 是否可以证明自然图像中局部滤波器响应协方差位于低维子空间中，且该性质是否同时依赖于滤波器设计和图像内容？
• RQ2 最小化局部激活矩阵的核范数是否能产生具有方向性和带通特性的滤波器，且其响应是否更具结构化和低维性？
• RQ3 在不依赖振幅或相位信息的情况下，仅利用滤波器响应的局部协方差结构，能在多大程度上重建图像外观？
• RQ4 在等维数下，基于协方差的表征与基于方差的表征在图像重建的感知质量上如何比较？
• RQ5 这种局部协方差表征能否作为视觉层次化模型的基础，相较于传统的稀疏编码或基于池化的架构具有优势？

主要发现

• 自然图像中局部滤波器响应协方差高度拉长，表明响应接近低维子空间，尤其在具有方向性内容的区域更为明显。
• 局部协方差的低维性在频谱匹配的噪声图像或相位随机化滤波器下并不存在，表明这是自然图像与定向滤波器之间相互作用的特性。
• 仅通过估计的局部协方差图即可近乎完美地重建图像，即使在低秩近似下也仅有轻微退化。
• 当协方差图被模糊化或欠采样时，重建质量呈渐进退化，且视觉效果优于同基数的基于方差图的重建。
• 当局部协方差被人为提高维度时，会生成人工纹理，证实低维性对于感知保真度至关重要。
• 该模型通过在特征空间中连续参数化低维子空间，避免了固定词典稀疏编码的维度灾难和相干性问题。