[论文解读] PanoRoom: From the Sphere to the 3D Layout

Clara Fernandez-Labrador, José M. Fácil+3 more|arXiv (Cornell University)|Aug 29, 2018

Advanced Vision and Imaging参考文献 11被引用 9

一句话总结

PanoRoom 提出了一种基于 ResNet-50 的全卷积神经网络（FCN），通过从全景图中预测边缘和角点图来重建精确的 3D 房间布局，而无需假设房间为长方体形状。该方法在 3D 布局准确率（SUN360 数据集上 3DIoU 达 76.82%）和推理速度方面均优于当前最先进方法，并通过单解码器架构结合边缘-角点联合预测与感知损失，在复杂非矩形房间中表现出良好泛化能力。

ABSTRACT

We propose a novel FCN able to work with omnidirectional images that outputs accurate probability maps representing the main structure of indoor scenes, which is able to generalize on different data. Our approach handles occlusions and recovers complex shaped rooms more faithful to the actual shape of the real scenes. We outperform the state of the art not only in accuracy of the 3D models but also in speed.

研究动机与目标

• 为解决现有 3D 布局估计方法因假设房间为长方体而无法准确表示真实世界复杂房间几何结构的局限性。
• 开发一种深度学习模型，仅使用全景图像作为输入，即可在包括非四面墙房间在内的多样化室内场景中实现良好泛化。
• 通过使用单个解码器联合预测边缘和角点图，避免多分支架构，从而提升推理速度与参数效率。
• 通过在训练过程中引入类别加权交叉熵损失与感知损失，增强模型在类别不平衡数据集上的鲁棒性。
• 通过在曼哈顿世界假设下优化深层特征，确保重建的 3D 布局在几何上保持一致。

提出的方法

• 采用以 ImageNet 预训练的 ResNet-50 作为编码器的全卷积网络（FCN），以加速收敛并提升特征学习能力。
• 使用带有来自编码器特征跳跃连接的单个解码器，通过特征拼接融合多尺度特征，以增强空间细节。
• 在一个分支中同时预测两个输出图——边缘与角点，采用双通道输出，相比多任务分支可减少参数量与推理时间。
• 应用带类别平衡因子（λ₁, λ₀）的加权 Sigmoid 交叉熵损失，以处理边缘与角点图中极端的前景-背景类别不平衡问题。
• 引入基于共享自编码器结构的感知损失，以在多个网络层面上鼓励预测图与真实图之间的特征级相似性。
• 通过在曼哈顿世界假设下优化 FCN 输出，实现 3D 布局的重建，确保几何一致性与平面结构。

实验结果

研究问题

• RQ1 仅在全景图上进行训练的单分支 FCN 是否能无需假设四面墙结构，即可生成准确的 3D 房间布局？
• RQ2 与多分支架构相比，单个解码器中联合预测边缘与角点是否能提升准确率与效率？
• RQ3 在主要包含长方体形状房间的数据集上进行训练的模型，能否有效泛化到复杂非矩形房间几何结构？
• RQ4 与标准交叉熵损失相比，引入感知损失是否能提升预测边缘与角点图的质量？
• RQ5 能否在深度学习预测中有效施加几何约束，以从全景输入生成一致的 3D 布局？

主要发现

• 在 SUN360 数据集上，PanoRoom 达到 76.82% 的 3DIoU，优于 LayoutNet（74.48%）与 PanoContext（67.22%）的 3D 布局准确率。
• 在 Stanford 2D-3D-S 数据集上，PanoRoom 达到 70.64% 的 3DIoU，表明即使在不同数据集上训练，仍具备强大泛化能力。
• 在 SUN360 上，模型的角点误差为 0.79%，在 Stanford 上为 1.15%，显著低于先前方法的 1.60% 与 1.06%。
• 完整分割的像素误差（PE）在 SUN360 上为 3.13%，在 Stanford 上为 4.98%，优于先前工作在复杂场景中的 7.26% 与 12.1%。
• 单张图像的推理时间约为 0.7 秒，快于使用多分支输出的当前最先进方法。
• 定性结果表明，即使在非矩形房间中，边缘图也更清晰、更准确，且在结构细节恢复方面优于 [2] 与 [3]。