[论文解读] Text2Light: Zero-Shot Text-Driven HDR Panorama Generation

Zhaoxi Chen, Guangcong Wang+1 more|arXiv (Cornell University)|Sep 20, 2022

Advanced Vision and Imaging被引用 10

一句话总结

Text2Light 提出了一种零样本、文本驱动的框架，无需成对训练数据即可生成 4K 以上分辨率的 HDR 全景图。该方法首先通过双码本、基于 CLIP 的采样机制生成低动态范围（LDR）、低分辨率的全景图，然后利用球形潜在表征对其实现超分辨率和反色调映射，从而实现与自由形式文本提示高度对齐的高保真、逼真 HDR 全景图。

ABSTRACT

High-quality HDRIs(High Dynamic Range Images), typically HDR panoramas, are one of the most popular ways to create photorealistic lighting and 360-degree reflections of 3D scenes in graphics. Given the difficulty of capturing HDRIs, a versatile and controllable generative model is highly desired, where layman users can intuitively control the generation process. However, existing state-of-the-art methods still struggle to synthesize high-quality panoramas for complex scenes. In this work, we propose a zero-shot text-driven framework, Text2Light, to generate 4K+ resolution HDRIs without paired training data. Given a free-form text as the description of the scene, we synthesize the corresponding HDRI with two dedicated steps: 1) text-driven panorama generation in low dynamic range(LDR) and low resolution, and 2) super-resolution inverse tone mapping to scale up the LDR panorama both in resolution and dynamic range. Specifically, to achieve zero-shot text-driven panorama generation, we first build dual codebooks as the discrete representation for diverse environmental textures. Then, driven by the pre-trained CLIP model, a text-conditioned global sampler learns to sample holistic semantics from the global codebook according to the input text. Furthermore, a structure-aware local sampler learns to synthesize LDR panoramas patch-by-patch, guided by holistic semantics. To achieve super-resolution inverse tone mapping, we derive a continuous representation of 360-degree imaging from the LDR panorama as a set of structured latent codes anchored to the sphere. This continuous representation enables a versatile module to upscale the resolution and dynamic range simultaneously. Extensive experiments demonstrate the superior capability of Text2Light in generating high-quality HDR panoramas. In addition, we show the feasibility of our work in realistic rendering and immersive VR.

研究动机与目标

• 解决复杂、高分辨率场景下缺乏零样本、文本驱动 HDR 全景图生成的问题。
• 克服在无成对训练数据条件下，分辨率、结构连贯性、文本对齐和高动态范围（HDR）合成的挑战。
• 使普通用户仅通过自由形式的自然语言描述即可生成逼真的 HDR 全景图。
• 开发一种两阶段框架，将 LDR 全景图生成与超分辨率及反色调映射解耦，以提升优化效率和图像保真度。
• 贡献一个多样化、高质量的 HDRI 数据集，以支持未来在文本到 HDRI 生成方向的研究。

提出的方法

• 引入双码本表征：一个全局码本用于粗粒度语义，一个局部码本用于细粒度纹理，实现对环境场景的分层离散建模。
• 使用 CLIP 作为文本编码器，引导文本条件化的全局采样器从全局码本中选择整体场景语义。
• 实现一种结构感知的局部采样器，按块生成 LDR 全景图，同时受全局语义和局部上下文条件控制。
• 将 LDR 全景图表示为结构化潜在码的连续球形场，以支持联合的超分辨率与反色调映射。
• 设计一种双分支 MLP 架构：一个用于超分辨率，一个用于反色调映射，通过独立损失函数实现优化解耦，防止梯度干扰。
• 在反色调映射模块中引入球坐标作为归纳偏置，提升高光区域（如太阳或灯泡）的空间一致性。

实验结果

研究问题

• RQ1 零样本、文本驱动的框架能否在无成对文本-图像训练数据的条件下生成 4K 以上分辨率的 HDR 全景图？
• RQ2 如何在自由形式文本生成的场景级全景图中保持结构连贯性和整体语义一致性？
• RQ3 能否在连续球形潜在空间中联合优化超分辨率与反色调映射，以同时实现高动态范围与高分辨率？
• RQ4 基于 CLIP 的文本条件化在多大程度上实现了输入描述与生成 HDR 全景图之间的准确对齐？
• RQ5 双码本与分层采样策略在建模多样化环境纹理与复杂场景布局方面效果如何？

主要发现

• Text2Light 成功地从自由形式的文本描述中生成了 4K 以上分辨率的 HDR 全景图，且无需任何成对训练数据，充分展示了零样本能力。
• 双码本与基于 CLIP 的采样框架实现了复杂场景的高保真合成，且与文本提示具有强语义对齐性。
• 双分支超分辨率与反色调映射设计优于单个 MLP 基线模型，消融实验验证了其在优化与保真度方面的提升。
• 球形潜在表征有效实现了分辨率与动态范围的联合提升，同时在高亮度区域保持了良好的空间一致性。
• 生成的 HDR 全景图可直接用于逼真渲染管线，为 3D 资产提供真实感光照与 360 度反射效果。
• 该框架支持通过文本实现沉浸式 VR 与场景编辑，例如添加“砖砌道路”或“更多树木”来修改现有场景，充分体现了可控性与可编辑性。