[论文解读] Review on Panoramic Imaging and Its Applications in Scene Understanding

Shaohua Gao, Kailun Yang+3 more|arXiv (Cornell University)|May 11, 2022

Advanced Image and Video Retrieval Techniques被引用 9

一句话总结

本综述整合了近年来在360°场景理解的全景成像领域的最新进展，结合自由曲面光学、超表面和计算成像技术，实现了高分辨率、轻量化、多维感知系统。研究表明，这些技术通过提升视场、分辨率以及与人工智能的智能融合，显著增强了自动驾驶、机器人和监控应用中的全景成像能力。

ABSTRACT

With the rapid development of high-speed communication and artificial intelligence technologies, human perception of real-world scenes is no longer limited to the use of small Field of View (FoV) and low-dimensional scene detection devices. Panoramic imaging emerges as the next generation of innovative intelligent instruments for environmental perception and measurement. However, while satisfying the need for large-FoV photographic imaging, panoramic imaging instruments are expected to have high resolution, no blind area, miniaturization, and multidimensional intelligent perception, and can be combined with artificial intelligence methods towards the next generation of intelligent instruments, enabling deeper understanding and more holistic perception of 360-degree real-world surrounding environments. Fortunately, recent advances in freeform surfaces, thin-plate optics, and metasurfaces provide innovative approaches to address human perception of the environment, offering promising ideas beyond conventional optical imaging. In this review, we begin with introducing the basic principles of panoramic imaging systems, and then describe the architectures, features, and functions of various panoramic imaging systems. Afterwards, we discuss in detail the broad application prospects and great design potential of freeform surfaces, thin-plate optics, and metasurfaces in panoramic imaging. We then provide a detailed analysis on how these techniques can help enhance the performance of panoramic imaging systems. We further offer a detailed analysis of applications of panoramic imaging in scene understanding for autonomous driving and robotics, spanning panoramic semantic image segmentation, panoramic depth estimation, panoramic visual localization, and so on. Finally, we cast a perspective on future potential and research directions for panoramic imaging instruments.

研究动机与目标

• 系统性回顾全景成像系统及其从传统光学到智能计算成像的演进过程。
• 分析新兴光学技术（如自由曲面、薄板光学和超表面）在克服全景成像设计权衡中的作用。
• 探索全景成像与人工智能的集成，以提升自动驾驶和机器人等应用中的场景理解能力。
• 识别全景感知在微型化、多维传感和弱监督学习方面的关键挑战与未来研究方向。
• 通过涵盖过去20年（特别是2010年以后）全景成像的进展，弥合现有综述的空白。

提出的方法

• 本文对全景成像系统进行了全面的文献回顾，按架构、成像模式和光学技术进行分类。
• 分析全景光学系统的设计原理与性能权衡，重点关注视场、分辨率、F数和成像质量。
• 通过其在实现紧凑、高性能全景系统方面的能力，评估新兴光学元件（如自由曲面、薄板光学和超表面）的性能。
• 研究计算成像技术，如基于深度学习的语义分割、深度估计和全景视频流中的视觉定位。
• 结合自动驾驶、机器人、内窥镜医学成像和监控等应用的实践，评估实际性能与可扩展性。
• 基于传感器融合、事件感知、激光雷达集成和弱监督学习等方向，提出未来研究路径，以减轻标注负担。

实验结果

研究问题

• RQ1 自由曲面和超表面如何克服全景成像系统中传统光学的局限性？
• RQ2 在实际应用中设计全景成像系统时，关键的性能权衡是什么？
• RQ3 计算成像与人工智能在提升全景数据场景理解方面有哪些方式？
• RQ4 如何将多维感知（如偏振、光谱、时间）集成到全景光学系统中？
• RQ5 弱监督或无监督学习在减少360°全景数据标注成本方面发挥什么作用？

主要发现

• 自由曲面和超表面使紧凑、高性能的全景系统成为可能，显著提升了设计自由度，并在传统光学基础上进一步减少了像差。
• 计算成像与深度学习的集成，使得在复杂环境中实现高精度的全景语义分割、深度估计和视觉定位成为可能。
• 具备偏振、光谱和时间感知能力的多维全景系统，为机器人和自主导航开辟了新的应用前景。
• 事件传感器与全景投影的主动激光雷达可实现鲁棒、高动态范围且低延迟的感知，适用于实时应用。
• 弱监督和无监督学习方法（如在Wild-360数据集上提出的弱监督显著性模型）显著降低了对昂贵全向全景标注的依赖。
• 超精密制造支持微纳光学元件的加工，推动了全景仪器的微型化和轻量化，适用于移动和嵌入式应用。