[论文解读] Optimal deep neural networks for sparse recovery via Laplace techniques

Steffen Limmer, Sławomir Stańczak|arXiv (Cornell University)|Sep 4, 2017

Sparse and Compressive Sensing Techniques参考文献 15被引用 3

一句话总结

本论文提出了一种完全解析的深度神经网络，用于从压缩测量中实现单纯形约束向量的最优稀疏恢复，利用拉普拉斯变换技术计算多面体质心而无需训练。网络架构源自通过多维拉普拉斯变换进行体积和质心计算，可在输入分布均匀的条件下实现精确的MMSE估计，并在使用ReLU、阈值和修正多项式激活函数时达到最优性能。

ABSTRACT

This paper introduces Laplace techniques for designing a neural network, with the goal of estimating simplex-constraint sparse vectors from compressed measurements. To this end, we recast the problem of MMSE estimation (w.r.t. a pre-defined uniform input distribution) as the problem of computing the centroid of some polytope that results from the intersection of the simplex and an affine subspace determined by the measurements. Owing to the specific structure, it is shown that the centroid can be computed analytically by extending a recent result that facilitates the volume computation of polytopes via Laplace transformations. A main insight of this paper is that the desired volume and centroid computations can be performed by a classical deep neural network comprising threshold functions, rectified linear (ReLU) and rectified polynomial (ReP) activation functions. The proposed construction of a deep neural network for sparse recovery is completely analytic so that time-consuming training procedures are not necessary. Furthermore, we show that the number of layers in our construction is equal to the number of measurements which might enable novel low-latency sparse recovery algorithms for a larger class of signals than that assumed in this paper. To assess the applicability of the proposed uniform input distribution, we showcase the recovery performance on samples that are soft-classification vectors generated by two standard datasets. As both volume and centroid computation are known to be computationally hard, the network width grows exponentially in the worst-case. It can be, however, decreased by inducing sparse connectivity in the neural network via a well-suited basis of the affine subspace. Finally, the presented analytical construction may serve as a viable initialization to be further optimized and trained using particular input datasets at hand.

研究动机与目标

• 设计一种深度神经网络，实现在单纯形上均匀先验分布下对稀疏向量的最优最小均方误差（MMSE）估计。
• 通过利用拉普拉斯变换技术进行解析推导，实现网络架构与参数的完全解析化，从而消除对数据驱动训练的需求。
• 建立稀疏性、神经网络架构与压缩感知背景下凸几何之间理论基础的联系。
• 证明ReLU、阈值和修正多项式（ReP）激活函数在该网络的解析构造中自然出现。

提出的方法

• 将MMSE估计问题重新表述为计算由单纯形与由测量定义的仿射子空间相交形成的多面体的质心。
• 应用多维拉普拉斯变换，对所得多面体的体积和质心进行解析计算。
• 利用近期关于基于拉普拉斯的体积计算结果，推导出质心的闭式表达式，该表达式对应于最优估计器。
• 构建一个具有M层（等于测量数量）的深度神经网络，使用ReLU、阈值和ReP激活函数来实现质心计算。
• 直接从拉普拉斯变换参数推导网络权重与结构，避免使用随机优化。
• 通过为仿射子空间选择合适的基，引入稀疏连接以减少网络宽度，缓解最坏情况下复杂度的指数增长。

实验结果

研究问题

• RQ1 在均匀先验下，能否在不进行训练的情况下，将稀疏向量的最优MMSE估计器实现为一个深度神经网络？
• RQ2 为何ReLU、阈值和ReP激活函数在该网络的解析构造中自然出现？
• RQ3 如何利用拉普拉斯变换对单纯形与仿射子空间交集形成的多面体质心进行解析计算？
• RQ4 测量数量与最优神经网络架构深度之间存在何种关系？
• RQ5 该解析网络能否作为在特定数据集上进一步微调的优良初始化？

主要发现

• 所提出的网络通过利用拉普拉斯变换对可行多面体的质心进行解析计算，实现了对单纯形约束稀疏向量的最优MMSE估计。
• 网络深度恰好等于测量数M，从而为稀疏信号的低延迟恢复提供了支持。
• 网络架构与参数以闭式形式完全解析推导得出，无需任何训练，仅依赖凸几何与拉普拉斯变换恒等式。
• ReLU、阈值和ReP激活函数的使用在理论上得到合理解释，因为它们自然源于拉普拉斯变换的反演过程。
• 在最坏情况下，网络宽度呈指数增长，但通过为仿射子空间选择适当的基，可引入稀疏连接以有效降低宽度。
• 该解析构造为在真实数据集上进一步微调提供了可行的初始化，已在标准基准数据集的软分类向量上得到验证。