[论文解读] Text Semantics to Image Generation: A method of building facades design base on Stable Diffusion model

Haoran Ma|arXiv (Cornell University)|Feb 23, 2023

Image Retrieval and Classification Techniques被引用 6

一句话总结

本文提出了一种使用LoRA微调的Stable Diffusion与ControlNet相结合的多网络文本到立面图像生成方法，以提升生成的可控性。该方法显著降低了微调成本，并增强了建筑设计的控制能力，在多种建筑风格下均表现出优越的输出一致性。

ABSTRACT

Stable Diffusion model has been extensively employed in the study of archi-tectural image generation, but there is still an opportunity to enhance in terms of the controllability of the generated image content. A multi-network combined text-to-building facade image generating method is proposed in this work. We first fine-tuned the Stable Diffusion model on the CMP Fa-cades dataset using the LoRA (Low-Rank Adaptation) approach, then we ap-ply the ControlNet model to further control the output. Finally, we contrast-ed the facade generating outcomes under various architectural style text con-tents and control strategies. The results demonstrate that the LoRA training approach significantly decreases the possibility of fine-tuning the Stable Dif-fusion large model, and the addition of the ControlNet model increases the controllability of the creation of text to building facade images. This pro-vides a foundation for subsequent studies on the generation of architectural images.

研究动机与目标

• 通过扩散模型提升文本到图像生成在建筑设计立面设计中的可控性。
• 降低大规模Stable Diffusion模型在建筑设计应用中微调的计算成本。
• 将ControlNet与微调后的Stable Diffusion结合，以增强结构与风格的控制能力。
• 评估不同文本提示和控制策略对立面生成质量的影响。

提出的方法

• 使用LoRA（低秩适应）技术在CMP Facades数据集上微调Stable Diffusion模型，以降低训练成本。
• 集成ControlNet模型，基于结构或布局条件引导图像生成。
• 应用描述不同建筑风格的文本提示，以控制图像生成过程。
• 在CMP Facades数据集上训练LoRA适配器，以在保留原始模型能力的同时适应立面特定特征。
• 将文本条件与ControlNet的布局或边缘引导相结合，生成更精确的立面设计。
• 通过多种建筑风格和控制策略评估输出，以评估一致性和质量。

实验结果

研究问题

• RQ1 LoRA微调在Stable Diffusion用于建筑设计立面生成时，如何影响其效率与性能？
• RQ2 引入ControlNet在多大程度上提升了文本到立面图像生成的可控性？
• RQ3 不同的建筑风格描述如何影响生成立面的质量与准确性？
• RQ4 在生成一致立面方面，纯文本策略与文本加控制策略的对比表现如何？

主要发现

• LoRA微调方法显著降低了Stable Diffusion模型在微调过程中的计算成本，并减少了灾难性遗忘的风险。
• ControlNet的集成提升了生成立面图像的结构准确性和可控性。
• 采用LoRA与ControlNet结合的方法时，生成的立面能与多种建筑风格描述保持一致的对齐。
• 与仅使用文本的生成方法相比，该方法生成的立面更具连贯性与风格准确性，尤其在复杂风格提示下表现更优。