[论文解读] Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork

Chang-Jen Wang, Chao-Kai Wen+4 more|arXiv (Cornell University)|Jan 12, 2021

Advanced X-ray Imaging Techniques参考文献 73被引用 11

一句话总结

本文提出了一种用于相位恢复的动态自适应深度展开框架，通过超网络生成广义期望一致信号恢复（GEC-SR）算法中的阻尼因子。通过将循环超网络与自注意力机制结合，该方法在不同测量条件和迭代次数下均实现了更优的收敛速度、鲁棒性和适应性，优于现有最先进方法，尤其在恶劣或不匹配的设置下表现突出。

ABSTRACT

Phase retrieval (PR) is an important component in modern computational imaging systems. Many algorithms have been developed over the past half-century. Recent advances in deep learning have introduced new possibilities for a robust and fast PR. An emerging technique called deep unfolding provides a systematic connection between conventional model-based iterative algorithms and modern data-based deep learning. Unfolded algorithms, which are powered by data learning, have shown remarkable performance and convergence speed improvement over original algorithms. Despite their potential, most existing unfolded algorithms are strictly confined to a fixed number of iterations when layer-dependent parameters are used. In this study, we develop a novel framework for deep unfolding to overcome existing limitations. Our development is based on an unfolded generalized expectation consistent signal recovery (GEC-SR) algorithm, wherein damping factors are left for data-driven learning. In particular, we introduce a hypernetwork to generate the damping factors for GEC-SR. Instead of learning a set of optimal damping factors directly, the hypernetwork learns how to generate the optimal damping factors according to the clinical settings, thereby ensuring its adaptivity to different scenarios. To enable the hypernetwork to adapt to varying layer numbers, we use a recurrent architecture to develop a dynamic hypernetwork that generates a damping factor that can vary online across layers. We also exploit a self-attention mechanism to enhance the robustness of the hypernetwork. Extensive experiments show that the proposed algorithm outperforms existing ones in terms of convergence speed and accuracy and still works well under very harsh settings, even under which many classical PR algorithms are unstable.

研究动机与目标

• 解决固定迭代次数、非自适应展开算法在相位恢复中的局限性。
• 使学习参数能够在不重新训练的情况下泛化至不同的前向模型、噪声水平和测量尺寸。
• 开发一种灵活的架构，支持可变的迭代次数，同时保持性能。
• 在分布不匹配的情况下（如二值测量矩阵或低信噪比）提升鲁棒性。
• 通过数据驱动的阻尼因子生成，增强GEC-SR算法的自适应性与稳定性。

提出的方法

• 引入超网络以生成GEC-SR算法的阻尼因子，替代对固定参数的直接学习。
• 采用循环架构（GEC-SR-HyperGRU）实现实时层间动态阻尼因子生成，支持可变的迭代次数。
• 在超网络中引入自注意力机制，以提升在多样化输入场景下的特征表示与鲁棒性。
• 保留GEC-SR的所有原始数学函数，仅将阻尼因子替换为由超网络生成的可学习参数。
• 通过来自多种前向模型的数据端到端训练超网络，使其能够泛化至未见过的设置。
• 在包括高斯和二值测量矩阵在内的多种条件下，对合成与真实图像重建进行了评估。

实验结果

研究问题

• RQ1 能否利用超网络在展开的GEC-SR算法中生成阻尼因子，以提升在不同成像场景下的自适应性？
• RQ2 循环超网络架构如何实现在可变迭代次数下的动态阻尼因子生成？
• RQ3 超网络中的自注意力机制在分布偏移下在多大程度上提升了鲁棒性？
• RQ4 与现有最先进相位恢复算法相比，该方法在收敛速度和精度方面表现如何？
• RQ5 当应用于不匹配或恶劣条件时，该框架是否能在不重新训练的情况下保持性能？

主要发现

• 在SNR=15 dB条件下，GEC-SR-HyperGRU结合自注意力机制在50×50笑脸图像上实现了−21.07 dB的重建MSE，显著优于GEC-SR-Net的−13.59 dB。
• 在二值测量矩阵下，GEC-SR-HyperGRU在仅10次迭代内保持稳定收敛，M/N=2.5时达到−15 dB MSE，而GEC-SR-Net在相同条件下仅收敛至−9 dB。
• 对于稀疏信号（ρ=0.2），GEC-SR-HyperGRU优于GEC-SR-HyperNet，证明了动态、状态感知阻尼因子调节的优势。
• 在低信噪比和高稀疏性条件下，GEC-SR-HyperGRU表现出优越的鲁棒性，并在分布不匹配时无需重新训练即可保持高性能。
• 该方法在收敛速度和稳定性方面优于prVAMP和GEC-SR-Net，尤其在二值变换矩阵和低测量比等挑战性设置下表现更优。
• 基于超网络的方法在不同测量比（R=M/N）下泛化良好，GEC-SR-HyperGRU在所有测试R值下均实现了最佳MSE性能。