[论文解读] Single-pixel imaging based on deep learning

Kai Song, Yaoxing Bian+8 more|arXiv (Cornell University)|Oct 25, 2023

Random lasers and scattering media被引用 5

一句话总结

本文全面综述了基于深度学习的单像素成像，将单像素成像的基本原理与深度学习相结合，实现了高质量的图像重建、快速处理以及无需完整图像重建的先进传感。涵盖了超分辨率、散射介质成像、光子级成像、光学加密、彩色成像和无图像传感等关键应用，同时指出了挑战与未来方向。

ABSTRACT

Single-pixel imaging can collect images at the wavelengths outside the reach of conventional focal plane array detectors. However, the limited image quality and lengthy computational times for iterative reconstruction still impede the practical application of single-pixel imaging. Recently, deep learning has been introduced into single-pixel imaging, which has attracted a lot of attention due to its exceptional reconstruction quality, fast reconstruction speed, and the potential to complete advanced sensing tasks without reconstructing images. Here, this advance is discussed and some opinions are offered. Firstly, based on the fundamental principles of single-pixel imaging and deep learning, the principles and algorithms of single-pixel imaging based on deep learning are described and analyzed. Subsequently, the implementation technologies of single-pixel imaging based on deep learning are reviewed. They are divided into super-resolution single-pixel imaging, single-pixel imaging through scattering media, photon-level single-pixel imaging, optical encryption based on single-pixel imaging, color single-pixel imaging, and image-free sensing according to diverse application fields. Finally, major challenges and corresponding feasible approaches are discussed, as well as more possible applications in the future.

研究动机与目标

• 分析深度学习与单像素成像的融合，以提升图像质量和重建速度。
• 回顾超分辨率、散射介质和光子级成像等多样化应用领域中的实现技术。
• 识别基于深度学习的单像素成像中的主要挑战，并提出可行解决方案。
• 探索无需完整图像重建的先进传感任务的未来应用。
• 为该新兴领域提供原理、算法和技术的结构化概述。

提出的方法

• 本文综述了专为单像素成像设计的深度学习架构，包括卷积神经网络和生成模型。
• 分析了利用学习到的先验知识替代迭代重建的方法，以实现更快的推理速度。
• 讨论了残差学习和注意力机制等技术，以提升重建保真度。
• 研究了将单像素成像的物理模型与神经网络相结合，以提高鲁棒性和泛化能力。
• 根据任务特定的网络设计对应用进行分类，例如用于彩色成像的多光谱头，以及用于光子级成像的稀疏编码层。
• 通过端到端学习探索无图像传感，实现在无需重建中间图像情况下的分类或检测。

实验结果

研究问题

• RQ1 与传统迭代方法相比，深度学习如何提升单像素成像中的图像重建质量和速度？
• RQ2 哪些关键的架构设计与训练策略使得基于深度学习的单像素成像能够实现高性能？
• RQ3 深度学习在何种方式下可实现在无需重建完整图像情况下的先进传感任务？
• RQ4 单像素系统的物理约束如何与深度神经网络中的学习表征相互作用？
• RQ5 在部署深度学习用于单像素成像时，面临的主要技术挑战是什么，以及如何解决？

主要发现

• 基于深度学习的单像素成像在重建质量方面优于传统的迭代方法。
• 重建速度显著加快，支持实时或近实时成像应用。
• 该方法可实现分类或检测等先进传感任务，而无需重建完整图像，从而降低计算开销。
• 实验结果表明，基于深度学习的超分辨率单像素成像可突破衍射极限，实现更高分辨率。
• 通过深度网络中的学习散射模型和基于注意力的特征提取，散射介质成像性能得到提升。
• 通过训练网络从极低光子计数中重建图像，实现了光子级单像素成像，同时保持了结构保真度。