[论文解读] Physics Inspired Optimization on Semantic Transfer Features: An Alternative Method for Room Layout Estimation

Hao Zhao, Ming Lu+4 more|arXiv (Cornell University)|Jul 3, 2017

Video Surveillance and Tracking Methods参考文献 27被引用 4

一句话总结

该论文提出了一种新颖的房间布局估计方法，结合语义迁移（Semantic Transfer, ST）以从杂乱的室内场景中稳健地提取特征，以及基于物理的优化（Physics-Inspired Optimization, PIO）以实现高效、基于梯度的推理。ST 通过端到端训练和改进的初始化，将场景杂乱程度感知融入深度网络；PIO 则利用受力学启发的优化方法建模特征动态。该方法在 LSUN 和 Hedau 数据集上实现了最先进性能，相较于穷举搜索显著提升了速度。

ABSTRACT

In this paper, we propose an alternative method to estimate room layouts of cluttered indoor scenes. This method enjoys the benefits of two novel techniques. The first one is semantic transfer (ST), which is: (1) a formulation to integrate the relationship between scene clutter and room layout into convolutional neural networks; (2) an architecture that can be end-to-end trained; (3) a practical strategy to initialize weights for very deep networks under unbalanced training data distribution. ST allows us to extract highly robust features under various circumstances, and in order to address the computation redundance hidden in these features we develop a principled and efficient inference scheme named physics inspired optimization (PIO). PIO's basic idea is to formulate some phenomena observed in ST features into mechanics concepts. Evaluations on public datasets LSUN and Hedau show that the proposed method is more accurate than state-of-the-art methods.

研究动机与目标

• 解决在遮挡导致性能下降的杂乱室内场景中实现准确房间布局估计的挑战。
• 将场景杂乱信息有意义地整合进深度神经网络，克服将全卷积网络（FCNs）视为黑箱模型的局限性。
• 开发一种系统化、基于梯度且高效的推理机制，避免在布局提议空间中进行穷举搜索。
• 通过改进的权重初始化策略，实现非常深网络在数据分布不平衡情况下的端到端训练。

提出的方法

• 语义迁移（ST）在全卷积网络中建立场景杂乱与房间布局之间的关系，支持端到端训练。
• ST 引入一个 37×4 的迁移层，学习编码杂乱感知特征，提升了在遮挡和数据不平衡情况下的鲁棒性。
• 基于物理的优化（PIO）利用力学概念（如能量最小化和力平衡）对 ST 特征动态进行建模。
• PIO 将特征模式视为具有势能地形的物理系统，通过基于梯度的优化对布局提议进行优化。
• 该方法采用多阶段训练流程：先在分割任务上进行预训练，再使用 ST 进行微调，最后通过 PIO 进行推理。
• PIO 通过利用局部梯度优化提议，避免了穷举搜索，显著降低了计算成本。

实验结果

研究问题

• RQ1 能否在深度神经网络中有效建模场景杂乱程度，以提升布局估计的鲁棒性？
• RQ2 能否通过系统化、基于梯度的优化方案，在布局推理中超越传统的提议排序或穷举搜索？
• RQ3 通过迁移学习机制整合杂乱感知特征，是否能提升在高度遮挡场景下的性能？
• RQ4 能否通过新型初始化策略，稳定在数据分布不平衡条件下对非常深网络的端到端训练？

主要发现

• 所提方法在 LSUN 和 Hedau 数据集上达到最先进性能，像素误差为 5.48%，角点误差为 3.95%。
• PIO 将每帧的推理时间缩短至 1.79 秒，相较于穷举基线（NOB）的 35.41 秒有显著提速，且精度损失极小。
• 语义迁移使 F-score 相比标准 VGG16 训练提升 2.8%（ODS），相比未使用 ST 的 VGG16 提升 4.3%，证明其在特征学习中的有效性。
• 在仅微调网络后层时，ST 模型（设置 G）相比标准迁移学习（设置 E）在 ODS 上提升 3.1%，表明其初始化更优。
• PIO 使用前 10 个提议（设置 J）的精度与完整 PIO 方法（设置 K）相当，表明对初始提议质量具有鲁棒性。
• 消融实验确认，PIO 显著优于标准提议排序方法，像素误差降低 5.80%。