[论文解读] PolyDiffuse: Polygonal Shape Reconstruction via Guided Set Diffusion Models

Jiacheng Chen, Ruizhi Deng+1 more|arXiv (Cornell University)|Jun 2, 2023

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

PolyDiffuse 提出了一种引导集合去噪扩散模型（GS-DM），通过解决基于集合的去噪过程中存在的排列歧义，实现了从传感器数据中高保真度的多边形形状重建。该方法在仅使用5–10次采样步骤的情况下，在户型图和高精地图重建任务中达到了最先进性能，显著提升了几何规则性和F1分数。

ABSTRACT

This paper presents PolyDiffuse, a novel structured reconstruction algorithm that transforms visual sensor data into polygonal shapes with Diffusion Models (DM), an emerging machinery amid exploding generative AI, while formulating reconstruction as a generation process conditioned on sensor data. The task of structured reconstruction poses two fundamental challenges to DM: 1) A structured geometry is a ``set'' (e.g., a set of polygons for a floorplan geometry), where a sample of $N$ elements has $N!$ different but equivalent representations, making the denoising highly ambiguous; and 2) A ``reconstruction'' task has a single solution, where an initial noise needs to be chosen carefully, while any initial noise works for a generation task. Our technical contribution is the introduction of a Guided Set Diffusion Model where 1) the forward diffusion process learns guidance networks to control noise injection so that one representation of a sample remains distinct from its other permutation variants, thus resolving denoising ambiguity; and 2) the reverse denoising process reconstructs polygonal shapes, initialized and directed by the guidance networks, as a conditional generation process subject to the sensor data. We have evaluated our approach for reconstructing two types of polygonal shapes: floorplan as a set of polygons and HD map for autonomous cars as a set of polylines. Through extensive experiments on standard benchmarks, we demonstrate that PolyDiffuse significantly advances the current state of the art and enables broader practical applications.

研究动机与目标

• 为解决使用扩散模型从传感器数据中重建结构化多边形几何形状的挑战，而这类模型传统上是为生成任务设计的而非重建任务。
• 通过学习能够保持独立表示的引导网络，解决基于集合的几何去噪中的根本性歧义问题，即N个元素存在N!种等价排列。
• 通过使用人工或算法生成的粗略初始提案作为去噪起点，将重建过程转化为条件生成过程，由学习到的网络进行引导。
• 提升多边形形状输出的几何规则性和保真度，尤其在户型图和高精地图等复杂布局中表现更优。
• 证明扩散模型可被有效适配用于结构化重建任务，从而扩展其应用范围，超越生成式人工智能的范畴。

提出的方法

• 前向扩散过程通过引导网络向多边形形状注入噪声，每个元素定义独立的高斯目标，从而减少排列歧义。
• 这些引导网络通过学习区分同一形状的等价表示，以最小化排列歧义而进行训练。
• 反向去噪过程从由引导网络初始化的噪声开始，基于传感器数据（如点云密度或RGB图像）逐步优化形状。
• 该方法支持基于似然的优化，通过概率流ODE实现，能够估计不确定性并提升重建质量。
• 该框架应用于两个任务：从Structured3D点云密度图像进行户型图重建，以及从nuScenes RGB输入构建高精地图。
• 视觉编码器仅处理一次传感器数据，生成过程在5–10步内完成，实现高效推理。

实验结果

研究问题

• RQ1 尽管扩散模型最初是为无条件或条件生成设计的，但能否被有效适配用于结构化重建任务？
• RQ2 如何解决基于集合的几何去噪中的排列歧义，以实现高精度重建？
• RQ3 从人工或算法生成的粗略初始提案出发的引导去噪过程，能否实现高保真度的多边形形状重建？
• RQ4 与现有方法相比，所提出的引导集合扩散模型在户型图和高精地图任务中，能在多大程度上提升几何规则性和F1分数？
• RQ5 能否利用扩散模型的底层概率流ODE实现基于似然的优化，以提升重建质量？

主要发现

• PolyDiffuse 在户型图重建任务中达到最先进性能，仅使用10次采样步骤，边缘检测F1分数达到98.4。
• 在高精地图重建任务中，PolyDiffuse 将边缘F1分数从RoomFormer的83.9提升至89.1，显著增强了几何规则性。
• 该方法优于标准扩散模型（在2步时边缘检测F1仅为5.4），凸显了引导机制的必要性。
• 消融实验表明，训练2.5倍epoch时性能最佳（边缘F1为98.4），说明充分训练对引导网络学习至关重要。
• 通过概率流ODE实现的基于似然的优化，可提升重建质量，并支持更广泛的实际应用，如不确定性感知的重建。
• 系统展现出鲁棒性与高效性，在5–10步内完成、仅需一次视觉编码器前向传播，即可生成高质量结果。