[论文解读] Phase Retrieval Under a Generative Prior

Paul Hand, Oscar Leong+1 more|arXiv (Cornell University)|Jul 11, 2018

Advanced X-ray Imaging Techniques参考文献 2被引用 16

一句话总结

本文提出了一种新颖的相位恢复框架，利用深度生成模型作为先验，通过在潜在空间中优化以实现信息论上最优的样本复杂度。该文证明，在使用 $ m = O(kd^2 au n) $ 组测量时，梯度方法在温和条件下可实现全局收敛，优于传统的 $ \ell_1 $-基于的稀疏恢复方法。

ABSTRACT

The phase retrieval problem asks to recover a natural signal $y_0 \in \mathbb{R}^n$ from $m$ quadratic observations, where $m$ is to be minimized. As is common in many imaging problems, natural signals are considered sparse with respect to a known basis, and the generic sparsity prior is enforced via $\ell_1$ regularization. While successful in the realm of linear inverse problems, such $\ell_1$ methods have encountered possibly fundamental limitations, as no computationally efficient algorithm for phase retrieval of a $k$-sparse signal has been proven to succeed with fewer than $O(k^2\log n)$ generic measurements, exceeding the theoretical optimum of $O(k \log n)$. In this paper, we propose a novel framework for phase retrieval by 1) modeling natural signals as being in the range of a deep generative neural network $G : \mathbb{R}^k ightarrow \mathbb{R}^n$ and 2) enforcing this prior directly by optimizing an empirical risk objective over the domain of the generator. Our formulation has provably favorable global geometry for gradient methods, as soon as $m = O(kd^2\log n)$, where $d$ is the depth of the network. Specifically, when suitable deterministic conditions on the generator and measurement matrix are met, we construct a descent direction for any point outside of a small neighborhood around the unique global minimizer and its negative multiple, and show that such conditions hold with high probability under Gaussian ensembles of multilayer fully-connected generator networks and measurement matrices. This formulation for structured phase retrieval thus has two advantages over sparsity based methods: 1) deep generative priors can more tightly represent natural signals and 2) information theoretically optimal sample complexity. We corroborate these results with experiments showing that exploiting generative models in phase retrieval tasks outperforms sparse phase retrieval methods.

研究动机与目标

• 为克服 $ \ell_1 $-正则化相位恢复的根本性样本复杂度限制，后者对 $ k $-稀疏信号需要 $ O(k^2\log n) $ 组测量。
• 开发一种新的相位恢复框架，将自然信号建模为深度生成网络的输出，以实现更紧密的表示并降低测量需求。
• 在通用测量集合下，为生成模型潜在空间中的基于梯度的优化建立可证明的全局收敛保证。
• 证明所提出的方法实现了信息论上最优的样本复杂度 $ O(kd^2\log n) $，其中 $ d $ 为网络深度。

提出的方法

• 将相位恢复表述为潜在空间优化问题：在 $ x \in \mathbb{R}^k $ 上最小化 $ \frac{1}{2}\| |AG(x)| - |AG(x_0)| \|^2 $，其中 $ G $ 为基于 ReLU 的深度生成模型。
• 通过将恢复限制在深度神经网络 $ G: \mathbb{R}^k \to \mathbb{R}^n $ 的输出范围内，施加生成先验，其参数为具有 ReLU 激活函数的 $ d $ 层全连接权重。
• 在 $ G $ 和 $ A $ 上建立确定性条件，使得从全局最小值及其负值的极小邻域之外的任意点出发，经验风险目标函数均存在下降方向。
• 证明当 $ G $ 的权重为 i.i.d. $ \mathcal{N}(0,1/n_i) $ 且 $ A $ 的元素为 i.i.d. $ \mathcal{N}(0,1/m) $ 时，这些条件以高概率成立。
• 利用受限范围集中性质（RRCP）控制测量矩阵 $ A^\top A $ 沿生成器雅可比矩阵像集的偏离期望值的程度。
• 应用统一受限集中性质（RCP）以限制 $ Av $ 的符号模式数量，确保优化景观中的稳定性。

实验结果

研究问题

• RQ1 深度生成先验能否实现信息论上最优样本复杂度的相位恢复？
• RQ2 生成模型潜在空间上的经验风险目标函数是否对梯度下降具有有利的全局几何结构？
• RQ3 在何种生成器与测量矩阵条件下，目标函数可从任意非解点出发存在下降方向？
• RQ4 所提出的框架能否在样本效率和恢复精度方面优于传统的 $ \ell_1 $-基稀疏相位恢复方法？

主要发现

• 所提出的深度相位恢复（DPR）框架实现了信息论上最优的样本复杂度 $ O(kd^2\log n) $，其中 $ d $ 为网络深度，$ k $ 为潜在维度。
• 以高概率，当生成器和测量矩阵为高斯分布时，经验风险目标函数在真实潜在码 $ x_0 $ 及其负值的极小邻域之外的任意点均存在下降方向。
• 在生成器权重和测量矩阵为 i.i.d. 高斯分布时，实现有利几何结构所需的确定性条件以高概率成立，从而确保梯度方法的全局收敛。
• 实验表明，该方法优于 $ \ell_1 $-基稀疏相位恢复，展现出更紧密的信号表示和更低的测量需求。
• 分析表明，对于 $ k $-维子空间中的 $ v $，$ Av $ 的符号模式数量被限制在 $ O(m^{2k}) $ 以内，从而在优化景观中实现集中控制。