[论文解读] Style-compatible Object Recommendation for Multi-room Indoor Scene Synthesis

Yu He, Yun Cai+6 more|arXiv (Cornell University)|Mar 9, 2020

Remote Sensing and LiDAR Applications参考文献 25被引用 4

一句话总结

本文提出了一种风格兼容的多房间室内场景合成流程，采用带标签的LDA模型进行类别级物体推荐，并通过组合优化实现实例级选择，兼顾各房间的功能多样性与风格和谐性。用户研究表明，其生成的场景质量可与专业设计师相媲美，首次实现了住宅级风格兼容性在室内场景合成中的整合。

ABSTRACT

Traditional indoor scene synthesis methods often take a two-step approach: object selection and object arrangement. Current state-of-the-art object selection approaches are based on convolutional neural networks (CNNs) and can produce realistic scenes for a single room. However, they cannot be directly extended to synthesize style-compatible scenes for multiple rooms with different functions. To address this issue, we treat the object selection problem as combinatorial optimization based on a Labeled LDA (L-LDA) model. We first calculate occurrence probability distribution of object categories according to a topic model, and then sample objects from each category considering their function diversity along with style compatibility, while regarding not only separate rooms, but also associations among rooms. User study shows that our method outperforms the baselines by incorporating multi-function and multi-room settings with style constraints, and sometimes even produces plausible scenes comparable to those produced by professional designers.

研究动机与目标

• 解决现有室内场景合成方法仅关注单个房间的局限性，避免功能崩溃与风格不一致的问题。
• 支持多功能房间设计，使单个房间可兼具多种用途，如客厅同时用作餐厅。
• 通过用户提供的风格参考图像，实现住宅级风格兼容性，确保多个房间间材料与色彩配比的一致性。
• 开发统一的物体推荐流程，联合优化多房间场景下的功能多样性、空间约束与风格和谐性。
• 证明自动化场景合成可达到与专业室内设计师在美学与整体一致性方面的相当水平。

提出的方法

• 将每个房间建模为一个多标签文档，物体视为词语，利用带标签的潜在狄利克雷分配（L-LDA）从SUNCG数据集中学习类别级物体出现概率。
• 通过用户提供的参考图像提取5种颜色的配色方案，生成房间特定的风格配色，以指导风格兼容性。
• 将实例级物体推荐建模为组合优化问题，包含三项关键约束：空间占用、组级别材料一致性（如床与床头柜）以及跨房间全局风格和谐性。
• 引入包含三项能量项的成本函数：占用约束（避免过度拥挤）、组约束（确保物体组内材料一致性）和全局风格约束（与参考图像风格保持一致）。
• 在实例选择后，使用现有的物体排布方法（Anonymous, 2020）生成最终布局合理、结构清晰的3D场景。
• 采用Chen et al. (2015) 材料建议方法的改进版本，将二值材料约束替换为基于组的材料一致性建模。

实验结果

研究问题

• RQ1 L-LDA等主题模型能否通过建模带标签房间中物体类别的分布，有效支持多房间、多功能的室内场景合成？
• RQ2 如何仅通过一张参考图像，在单个房间内及多个房间之间实现风格兼容性？
• RQ3 与逐物体材料建议相比，引入基于组的材料约束在多大程度上提升了合成室内场景的真实感与和谐性？
• RQ4 能否通过联合考虑功能多样性、空间约束与风格兼容性的组合优化框架，生成与专业设计师设计相当的场景？
• RQ5 与单房间、单标签的基线方法相比，所提方法在视觉质量、风格一致性与功能多样性方面的表现如何？

主要发现

• 所提方法在风格兼容性与视觉美感方面显著优于基线方法，用户研究中合成场景平均得分为4.5/5.0，而原始SUNCG场景仅为3.2/5.0。
• 引入组约束项后，相关物体（如电视柜与咖啡桌）之间的材料不一致性降低，使房间布局更加和谐与真实。
• 全局风格约束项成功将多个房间的风格与参考图像对齐，生成了整体统一的住宅级美学风格，其评分显著高于未使用该约束的方法。
• 占用约束有效防止了场景过度拥挤，确保房间在视觉上整洁有序且功能清晰，表现为启用该约束时混乱布局明显减少。
• 25名参与者（包括5名专业设计师）的用户研究证实，该流程生成的场景在五项评估维度——物体多样性、一致性、风格兼容性、功能充分性与视觉美感——上均优于原始SUNCG场景。
• 该方法通过支持多标签房间，成功缓解了功能崩溃问题，使功能重叠的空间（如客厅与餐厅合并区域）也能实现多样的物体配置。