[论文解读] Retrieval-Augmented Sketch-Guided 3D Building Generation

Zhengyang Wang, Nuttapong Rochanavibhata+4 more|arXiv (Cornell University)|Mar 17, 2026

3D Shape Modeling and Analysis被引用 0

一句话总结

本文提出一个多阶段检索增强的草图引导框架，能够从 rough sketches 生成可编辑的、组件级别的 3D 建筑模型，用于日本独立住宅的设计。

ABSTRACT

In the early design stage of Japanese detached houses, the lack of a unified design representation among clients, sales representatives, and designers leads to design drift and inefficient feedback. Usually, sketches handed off by sales representatives may lose details for quick drawing, which reduces the fidelity of subsequent 3D generation using generative AI models. The generated 3D model typically takes the form of a single unified mesh, preventing component-level editing. To solve these issues, we propose a multi-stage 3D generative design framework capable of producing architectural models from rough design sketches. The framework combines generative and retrieval-based methods to enable component-level editing and personalized customization. It adopts a multimodal representation for 3D model generation and applies component segmentation to localize architectural components such as windows and doors and uses retrieval to support targeted replacement of components. Experiments show that the work enables modular customization which is thought to be suitable for personalized architectural design. This work introduces a multi-stage sketch-to-3D framework for Japanese detached houses, provides facade and component datasets, and shows effectiveness through quantitative and expert evaluations.

研究动机与目标

• 解决客户、销售代表与设计师之间缺乏统一设计表达导致的设计偏差与低效反馈问题。
• 实现从早期设计阶段使用的粗略草图中生成高保真度的 3D 模型。
• 实现建筑模型的组件级编辑与个性化定制。
• 开发多模态表示与组件分割，以实现对建筑部件（如窗户、门）的定位。
• 引入检索以支持针对性替换和模块化定制。

提出的方法

• 提出一个多阶段的草图到 3D 生成设计框架。
• 将生成方法与基于检索的方法结合，支持组件级编辑。
• 使用多模态表示来生成 3D 模型。
• 应用组件分割以定位如窗户和门等建筑元素。
• 结合检索实现对组件的针对性替换以实现定制化。

实验结果

研究问题

• RQ1 一个多阶段框架是否能够如实地将粗略设计草图转化为可编辑的 3D 建筑模型？
• RQ2 结合生成与检索技术是否能提升组件级编辑与定制化？
• RQ3 多模态表示与组件分割在定位建筑部件以实现 targeted 检索方面有多有效？
• RQ4 该方法在实际中是否适用于模块化和个性化的建筑设计？
• RQ5 以定量指标与专家评估衡量，该方法在保真度与可用性方面的提升有哪些？

主要发现

• 实验表明该框架能够实现面向个性化建筑设计的模块化定制。
• 该方法支持组件级编辑与对组件的针对性替换。
• 引入并用于评估的立面与组件数据集已建立。
• 定量评估与专家评估均表明该方法的有效性。