[论文解读] Sketch-to-Architecture: Generative AI-aided Architectural Design

Pengzhi Li, Baijuan Li+1 more|arXiv (Cornell University)|Mar 29, 2024

Architecture and Computational Design被引用 7

一句话总结

本论文提出一个工作流程，使用生成式 AI 将简单草图转换为概念平面图和三维体量模型，具有文本驱动控制和本地编辑，以协助早期阶段的建筑设计。

ABSTRACT

Recently, the development of large-scale models has paved the way for various interdisciplinary research, including architecture. By using generative AI, we present a novel workflow that utilizes AI models to generate conceptual floorplans and 3D models from simple sketches, enabling rapid ideation and controlled generation of architectural renderings based on textual descriptions. Our work demonstrates the potential of generative AI in the architectural design process, pointing towards a new direction of computer-aided architectural design. Our project website is available at: https://zrealli.github.io/sketch2arc

研究动机与目标

• 为建筑设计早期阶段启动一个新的 AI 辅助工作流，以加速创意产生和缩短迭代时间。
• 演示扩散模型如何从草图和文本提示生成平面图和 3D 体量。
• 通过文本和掩模实现建筑渲染的可控生成和定向编辑。

提出的方法

• 使用 LoRA 对基于扩散的模型（Stable Diffusion）进行微调，以实现任务特定的平面图和体量生成。
• 在平面图生成过程中应用 ControlNet 以实现精确的条件控制。
• 从生成的平面图估计深度图，并将其转换为基于 Rhino/Grasshopper 的 3D 点云和网格。
• 提取核心建筑设计术语以引导文本驱动的生成，并通过掩模促进迭代编辑。

Figure 1: We explore how generative AI technology can be effectively utilized in the early phases of architectural design.

实验结果

研究问题

• RQ1 生成式 AI 工作流是否能够从简单草图产生连贯的平面图和 3D 体量模型？
• RQ2 文本提示和设计术语提取如何控制建筑生成与编辑？
• RQ3 在多大程度上可以通过微调和条件化将扩散型方法应用于建筑设计任务？
• RQ4 混合流水线（扩散模型加深度估计和 Rhino/Grasshopper 脚本）在生成可渲染的建筑设计中的作用是什么？

主要发现

• 将扩散模型、LoRA 微调和 ControlNet 结合在一起的工作流可以从草图生成平面图和 3D 体量。
• 对生成的平面图进行深度估计可以在 Rhino/Grasshopper 中进行 3D 重建，以从多个视角生成立面。
• 文本提示和建筑设计元素使渲染的可控生成与编辑成为可能。
• 基于掩模的局部编辑允许对区域进行特定修改（材料、元素、结构），同时保留整体设计。
• 该方法使在早期设计阶段通过文本描述实现建筑渲染的端到端生成成为可能。

Figure 2: We present the workflow of AI-generated architectural design.