[论文解读] Translating Regulatory Clauses into Executable Codes for Building Design Checking via Large Language Model Driven Function Matching and Composing

Zhe Zheng, Han, Jin+4 more|arXiv (Cornell University)|Aug 17, 2023

Software Engineering Research被引用 10

一句话总结

本文提出 LLM-FuncMapper，一种定义 66 个原子函数以捕捉复杂条款逻辑的方法，并利用由 LLM 驱动的函数匹配与组合，将监管文本转换为用于建筑设计自动化规则检查的可执行代码。

ABSTRACT

Translating clauses into executable code is a vital stage of automated rule checking (ARC) and is essential for effective building design compliance checking, particularly for rules with implicit properties or complex logic requiring domain knowledge. Thus, by systematically analyzing building clauses, 66 atomic functions are defined first to encapsulate common computational logics. Then, LLM-FuncMapper is proposed, a large language model (LLM)-based approach with rule-based adaptive prompts that match clauses to atomic functions. Finally, executable code is generated by composing functions through the LLMs. Experiments show LLM-FuncMapper outperforms fine-tuning methods by 19% in function matching while significantly reducing manual annotation efforts. Case study demonstrates that LLM-FuncMapper can automatically compose multiple atomic functions to generate executable code, boosting rule-checking efficiency. To our knowledge, this research represents the first application of LLMs for interpreting complex design clauses into executable code, which may shed light on further adoption of LLMs in the construction domain.

研究动机与目标

• 解决在 ARC 中对具有隐含属性的复杂监管条款的解释挑战。
• 开发一个原子函数库，以捕捉建筑规范中常见的计算逻辑。
• 提出一种基于规则的自适应提示方法，用于 LLM 驱动的函数匹配与代码生成。

提出的方法

• 定义一个包含 66 个函数的原子函数库，以封装建筑条款中常见的计算逻辑。
• 通过按句子分割对条款进行预处理，并将表格数据转换为文本，再通过语义标注和基于 IFC 的匹配提取原子函数。
• 将对象分为五个与 IFC 对齐的类别，并设计带输入/输出的函数签名。
• 开发一个带有领域知识注入的基于规则的自适应提示框架，以把条款映射到原子函数并生成代码。
• 评估多种 LLM 在函数匹配上的表现，使用 chain-of-thought 提示和自适应策略；评估整体性能、幻觉和不同条款难度。
• 展示一个案例研究，说明将原子函数自动组合为可执行代码以实现厂房防火保护条款。

实验结果

研究问题

• RQ1 复杂建筑法规条款及其隐含属性如何表示为可执行的计算函数？
• RQ2 在 LLM 指导下将条款映射到原子函数是否能高效生成用于 ARC 的可执行代码？
• RQ3 与基线相比，基于规则的自适应提示策略在函数匹配中的有效性如何？
• RQ4 在真实工厂场景中的规则检查中，所组合的代码执行效果如何？

主要发现

• LLM-FuncMapper 在函数匹配准确性方面比微调方法高出约 19%。
• 原子函数库使复杂条款逻辑的可扩展表示成为可能，并降低了手工标注的工作量。
• 通过 LLM 进行条款解释可以自动将多个原子函数组合成用于规则检查的可执行代码。
• 一个工厂案例研究展示了自动代码生成，从而提高规则检查效率。
• 带有领域知识注入的提示工程有助于 LLM 理解并有效地利用原子函数库。
• 该方法为在建筑领域使用 LLM 将复杂设计条款翻译为可执行代码的首个应用。