[论文解读] SceneFormer: Indoor Scene Generation with Transformers

Xinpeng Wang, Chandan Yeshwanth+1 more|arXiv (Cornell University)|Dec 17, 2020

3D Surveying and Cultural Heritage参考文献 33被引用 15

一句话总结

SceneFormer 提出了一种基于 Transformer 的自回归模型，用于室内场景生成，能够从房间布局或文本描述中预测物体类别、3D 位置、朝向和尺寸，利用自注意力机制隐式学习物体间关系，而无需人工标注关系。与最先进方法（如 FastSynth）相比，其推理速度更快（每场景 1.48 秒），用户偏好度更高（53.9–56.7%），同时在文本条件生成中保持了较高的真实感和准确性。

ABSTRACT

We address the task of indoor scene generation by generating a sequence of objects, along with their locations and orientations conditioned on a room layout. Large-scale indoor scene datasets allow us to extract patterns from user-designed indoor scenes, and generate new scenes based on these patterns. Existing methods rely on the 2D or 3D appearance of these scenes in addition to object positions, and make assumptions about the possible relations between objects. In contrast, we do not use any appearance information, and implicitly learn object relations using the self-attention mechanism of transformers. We show that our model design leads to faster scene generation with similar or improved levels of realism compared to previous methods. Our method is also flexible, as it can be conditioned not only on the room layout but also on text descriptions of the room, using only the cross-attention mechanism of transformers. Our user study shows that our generated scenes are preferred to the state-of-the-art FastSynth scenes 53.9% and 56.7% of the time for bedroom and living room scenes, respectively. At the same time, we generate a scene in 1.48 seconds on average, 20% faster than FastSynth.

研究动机与目标

• 在不依赖视觉外观或手动标注物体关系的情况下，生成多样化且逼真的 3D 室内场景。
• 将室内场景生成建模为序列生成任务，使用 Transformer，将每个物体的属性视为序列中的标记。
• 通过交叉注意力机制，灵活地基于房间布局和自然语言描述进行条件控制。
• 在保持或提升场景真实感的同时，提高推理速度，相较于现有自回归场景生成方法更具优势。
• 通过自注意力机制隐式学习物体之间的空间和关系模式，避免使用预定义的关系启发式规则或标注。

提出的方法

• 将每个室内场景表示为物体属性标记的序列：类别、3D 位置（离散化）、朝向和尺寸。
• 使用带有自回归生成的 Transformer 解码器，基于先前生成的物体来预测下一个物体的属性。
• 利用自注意力机制隐式学习物体之间的复杂空间和关系依赖，而无需显式的关系监督。
• 通过门/窗位置和房间边界的位置编码，将房间布局作为条件输入。
• 通过文本编码器（如 BERT、ELMo）与 Transformer 解码器之间的交叉注意力机制，实现对文本描述的条件控制。
• 将 3D 坐标离散化为类似体素的网格，以实现可微且高效的物体位置预测。

Figure 2: Layout-conditioned SceneFormer: We take as input the room layout describing the room shape and locations of doors and windows. The SceneFormer model sequentially generates the properties of the next object and inserts the object into the existing scene. The final output scene is shown on t

实验结果

研究问题

• RQ1 基于 Transformer 的序列模型是否能在不使用视觉外观或预定义物体关系的情况下生成逼真的 3D 室内场景？
• RQ2 Transformer 中的自注意力机制在多大程度上能隐式学习场景中物体之间的空间和关系模式？
• RQ3 与基线方法相比，基于文本描述的条件控制在多大程度上提升了物体类别和空间关系生成的准确性？
• RQ4 能否在保持高推理速度和用户偏好的同时，实现基于布局和文本的场景生成？
• RQ5 该模型在不同场景类型（如卧室与客厅）和不同条件模态下的性能表现如何？

主要发现

• SceneFormer 平均每场景生成耗时 1.48 秒，比 FastSynth 快 20%，比 PlanIT 和 DeepSynth 快一个数量级。
• 在用户偏好研究中，SceneFormer 生成的场景在 53.9% 的比较中优于 FastSynth（卧室场景），在 56.7% 的比较中优于 FastSynth（客厅场景）。
• 在文本条件生成中，BERT 编码器变体在卧室场景中实现了 84.83% 的类别准确率和 46.42% 的关系准确率，显著优于 GT 基线（10.67% 的关系准确率）。
• 多 Transformer 模型设置将下一个标记预测准确率提升至 51.5%，较单个 Transformer 基线提高了 14.5 个百分点，证明了集成建模的优势。
• 使用 ELMo 和 BERT 嵌入时，类别准确率分别达到 76.59% 和 84.83%，表明与输入文本描述具有强对齐性。
• 感知评估显示，真实感得分为 4.61±1.84，文本匹配得分为 4.38±1.73，表明生成的场景既逼真又与文本提示语义一致。

Figure 3: Layout-conditioned SceneFormer model. Start tokens are shown in green, tokens for existing objects in gray and tokens for new objects in yellow. Stop tokens and padding are omitted. All models take 3 kinds of sequences as input - category, orientation and location. Their respective outputs