[论文解读] Neural Étendue Expander for Ultra-Wide-Angle High-Fidelity Holographic Display

Ethan Tseng, Grace Kuo+9 more|arXiv (Cornell University)|Sep 16, 2021

Advanced Optical Imaging Technologies参考文献 39被引用 6

一句话总结

本文提出神经 étendue 扩展器——一种可学习的衍射光学元件，通过在不牺牲图像质量的前提下扩展空间光调制器（SLM）的 étendue，实现了超广角、高保真全息显示。通过使用可微分全息成像模型，联合优化 SLM 波前与扩展器的相位分布，该方法实现了 64× 的 étendue 扩展，PSNR >29 dB，利用 8K SLM 实现了 126° 视场角和 18.5 mm 眼盒尺寸。

ABSTRACT

Holographic displays can generate light fields by dynamically modulating the wavefront of a coherent beam of light using a spatial light modulator, promising rich virtual and augmented reality applications. However, the limited spatial resolution of existing dynamic spatial light modulators imposes a tight bound on the diffraction angle. As a result, modern holographic displays possess low étendue, which is the product of the display area and the maximum solid angle of diffracted light. The low étendue forces a sacrifice of either the field-of-view (FOV) or the display size. In this work, we lift this limitation by presenting neural étendue expanders. This new breed of optical elements, which is learned from a natural image dataset, enables higher diffraction angles for ultra-wide FOV while maintaining both a compact form factor and the fidelity of displayed contents to human viewers. With neural étendue expanders, we experimentally achieve 64$ imes$ étendue expansion of natural images in full color, expanding the FOV by an order of magnitude horizontally and vertically, with high-fidelity reconstruction quality (measured in PSNR) over 29 dB on retinal-resolution images.

研究动机与目标

• 解决动态 SLM 由于空间分辨率低和衍射角小而带来的全息显示中基本 étendue 限制问题。
• 在保持自然图像高重建保真度的前提下，实现全息显示中超广视场角（FOV）和大眼盒尺寸。
• 开发一种可学习的光学元件——神经 étendue 扩展器，与 SLM 波前联合优化，以最大化感知图像质量。
• 通过使用静态、优化的光学元件，消除对复杂动态组件（如眼动追踪器或多个 SLM）的需求。
• 支持全彩、3D 和瞳孔感知的全息显示，具备高保真度和广泛的观看者兼容性。

提出的方法

• 开发了一种可微分全息图像形成模型，以实现对 SLM 波前和神经 étendue 扩展器相位分布的端到端联合优化。
• 利用自然图像数据集，通过一阶随机优化方法学习神经 étendue 扩展器，同时将重建噪声推向人眼视觉系统不可感知的频率带。
• 通过激光束光刻和树脂模压工艺制造扩展器，设计中引入了波长相关的折射率。
• 系统采用 4F 重叠光路，配备 HOLOEYE-PLUTO SLM、DC 衰减器和相机，实验捕获并验证了 étendue 扩展的全息图。
• 应用瞳孔感知优化，确保眼盒内不同瞳孔位置的图像质量保持一致。
• 该方法支持多波长照明，实现全彩全息显示，并可扩展至 3D 彩色全息重建。

实验结果

研究问题

• RQ1 所学习的光学元件是否能显著扩展全息显示的 étendue，同时保持自然场景的高图像保真度？
• RQ2 与随机或固定相位散射体相比，SLM 与神经 étendue 扩展器的联合优化在多大程度上提升了重建质量？
• RQ3 神经 étendue 扩展器在无动态组件的前提下，能在多大程度上实现超广视场角（如 >120°）和大眼盒尺寸（如 >10×10 mm²）？
• RQ4 该方法是否能支持高保真全彩和 3D 全息显示，且具备观看者瞳孔独立性？
• RQ5 在 PSNR 指标下，可实现的 étendue 扩展因子与重建质量之间的权衡关系如何？

主要发现

• 神经 étendue 扩展器在全彩全息图中实现了 64× 的 étendue 扩展，峰值信噪比（PSNR）超过 29 dB，相比现有方法实现了一个数量级的性能提升。
• 对于单色全息图，该方法相比其他扩展器实现了超过 10 dB 的 PSNR 提升，证明了其卓越的重建保真度。
• 系统实现了 126° 视场角和 18.5 mm 眼盒尺寸，覆盖超过 85% 的人眼视觉范围，仅使用 8K 像素 SLM。
• 优化后的神经扩展器可将光能均匀分布于眼盒内，实现观看者瞳孔独立性，无需精确眼动追踪。
• 该方法支持高保真 3D 彩色全息显示，突破了以往工作仅限于单色或稀疏点状 3D 全息的局限。
• 实验验证表明，所学习的波前调制能有效将重建噪声移出人眼感知频率范围，显著提升主观图像质量。