[论文解读] Octree Transformer: Autoregressive 3D Shape Generation on Hierarchically Structured Sequences

Moritz Ibing, Gregor Kobsik+1 more|arXiv (Cornell University)|Nov 24, 2021

3D Shape Modeling and Analysis被引用 6

一句话总结

本文提出了一种新型自回归3D形状生成模型——八叉树变换器（Octree Transformer），该模型采用分层八叉树表示和可学习的压缩方案，以减少序列长度，实现高效的基于变换器的生成。通过卷积操作对八叉树序列进行压缩，并支持完全自回归解码，该方法在256³分辨率下实现了具有竞争力的3D形状生成与超分辨率重建，同时保持了结构一致性，并支持类别条件生成。

ABSTRACT

Autoregressive models have proven to be very powerful in NLP text generation tasks and lately have gained popularity for image generation as well. However, they have seen limited use for the synthesis of 3D shapes so far. This is mainly due to the lack of a straightforward way to linearize 3D data as well as to scaling problems with the length of the resulting sequences when describing complex shapes. In this work we address both of these problems. We use octrees as a compact hierarchical shape representation that can be sequentialized by traversal ordering. Moreover, we introduce an adaptive compression scheme, that significantly reduces sequence lengths and thus enables their effective generation with a transformer, while still allowing fully autoregressive sampling and parallel training. We demonstrate the performance of our model by comparing against the state-of-the-art in shape generation.

研究动机与目标

• 为解决自回归变换器在3D形状生成中面临的长序列和高内存开销挑战。
• 开发一种序列压缩方法，在减少序列长度以实现高效变换器处理的同时，保留完整的自回归生成能力。
• 利用结构化、分层的八叉树表示实现高分辨率3D形状生成与超分辨率重建。
• 在单一统一的自回归框架内支持类别条件生成与可扩展分辨率的合成。

提出的方法

• 该方法使用八叉树对3D形状进行分层表示，将内存复杂度从立方级降低至近似二次级。
• 应用可学习的卷积压缩方案对八叉树序列进行处理，显著减少序列长度，同时保留压缩块之间的自回归依赖性。
• 压缩与解压缩过程被设计为保持完整的自回归生成能力，确保每个标记都依赖于所有先前标记，包括其他块中的标记。
• 使用变换器解码器自回归地生成压缩序列，注意力机制作用于压缩表示上，以支持并行训练。
• 支持序列延续以实现超分辨率，即通过扩展粗粒度八叉树序列来生成更高分辨率的形状。
• 通过在自回归解码过程中将类别嵌入作为条件，实现类别条件生成。

实验结果

研究问题

• RQ1 尽管3D体素网格通常存在长序列和高内存开销，自回归变换器是否仍能有效应用于3D形状生成？
• RQ2 像八叉树这样的分层结构化表示是否能够以保留完整自回归生成能力的方式压缩3D形状序列？
• RQ3 可学习的压缩方案是否能够实现高效、可并行训练与采样，同时保持生成质量与结构一致性？
• RQ4 通过扩展部分序列，是否可使用同一模型同时实现新颖形状生成与超分辨率？
• RQ5 与最先进的基于GAN和VAE的3D形状生成方法相比，该模型的性能如何？

主要发现

• 八叉树变换器在3D形状生成方面实现了具有竞争力的性能，定性结果表明在256³分辨率下生成的形状具有连贯性与多样性。
• 该方法通过八倍放大（三级提升）实现了有效的超分辨率，能够从粗粒度八叉树序列生成合理的高分辨率输出。
• 在64³分辨率下，模型达到最佳定性结果；在更高分辨率下，由于压缩率增加和模型尺寸限制，质量有所下降。
• 该方法支持类别条件生成，可实现基于类别标签的形状合成。
• 由于自回归生成的顺序特性，尽管压缩过程可并行化，复杂且高分辨率形状的采样时间仍较长（数分钟）。
• 模型性能受限于高压缩率和相对较小的模型尺寸，尤其在高分辨率下，偶尔会出现噪声和不连贯现象。