[论文解读] Text2BIM: Generating Building Models Using a Large Language Model-based Multi-Agent Framework

Changyu Du, Sebastian Esser+2 more|arXiv (Cornell University)|Aug 15, 2024

BIM and Construction Integration被引用 6

一句话总结

Text2BIM 利用多代理 LLM 框架将自然语言转换为可执行代码，以在 Vectorworks 中生成可编辑的 BIM 模型，具备基于规则的质量检查和迭代式改进。

ABSTRACT

The conventional BIM authoring process typically requires designers to master complex and tedious modeling commands in order to materialize their design intentions within BIM authoring tools. This additional cognitive burden complicates the design process and hinders the adoption of BIM and model-based design in the AEC (Architecture, Engineering, and Construction) industry. To facilitate the expression of design intentions more intuitively, we propose Text2BIM, an LLM-based multi-agent framework that can generate 3D building models from natural language instructions. This framework orchestrates multiple LLM agents to collaborate and reason, transforming textual user input into imperative code that invokes the BIM authoring tool's APIs, thereby generating editable BIM models with internal layouts, external envelopes, and semantic information directly in the software. Furthermore, a rule-based model checker is introduced into the agentic workflow, utilizing predefined domain knowledge to guide the LLM agents in resolving issues within the generated models and iteratively improving model quality. Extensive experiments were conducted to compare and analyze the performance of three different LLMs under the proposed framework. The evaluation results demonstrate that our approach can effectively generate high-quality, structurally rational building models that are aligned with the abstract concepts specified by user input. Finally, an interactive software prototype was developed to integrate the framework into the BIM authoring software Vectorworks, showcasing the potential of modeling by chatting. The code is available at: https://github.com/dcy0577/Text2BIM

研究动机与目标

• 通过实现自然语言到 BIM 模型生成功能，降低 BIM 创作的认知负担。
• 使专业化的 LLM 代理之间的协同推理成为可能，以产生结构化、可执行的 BIM 代码。
• 通过基于规则的模型检查器将领域知识整合进来，指导模型质量的迭代改进。
• 展示一个与 Vectorworks 集成、可用于交互建模的工作原型。

提出的方法

• 四个专业化的 LLM 代理（产品负责人、建筑师、程序员、评审）协作将自然语言转化为命令式 BIM API 调用。
• 26 个高级 BIM 函数的工具集封装了 Vectorworks API 调用和领域规则，指导代码生成。
• 建筑师提示通过建筑规则生成建筑平面图；产品负责人丰富指令并通过函数调用与建筑师协调。
• 程序员编写仅调用定义的工具函数和标准 Python 库的 Python 代码；自定义解释器执行并测试代码。
• 一个三层循环工作流将代码生成、自我反思与模型质量评估结合起来，使用基于规则的模型检查器和 BCF 报告来迭代修复问题。
• 记忆模块（本地/全局）存储交互历史，以在多轮迭代中保持上下文。

实验结果

研究问题

• RQ1 一个基于 LLM 的多代理系统是否能够从自然语言指令中生成连贯、可执行的 BIM 代码？
• RQ2 如何将建筑规则和领域知识整合以提高模型质量并确保与 BIM 标准的一致性？
• RQ3 基于规则的模型检查器和以 BCF 驱动的反馈在引导对 BIM 模型的迭代改进中扮演何种角色？
• RQ4 在 Vectorworks 为基础的原型在早期设计的 BIM 生成中展示“按对话建模”的效果如何？

主要发现

• 该框架能够从自然语言输入生成具有外部包络、内部布局和语义信息的可编辑 BIM 模型。
• 基于规则的检查器的多代理协作可以通过多轮反馈来引导模型质量的迭代改进。
• 实验比较 Text2BIM 框架中的三种 LLM，评估它们在生成结构上合理且带有语义丰富的模型方面的表现。
• 一个交互式原型展示了与 Vectorworks 的集成，说明了实践中的按对话建模工作流。