[论文解读] RGB-D Scene Labeling with Long Short-Term Memorized Fusion Model.

Zhen Li, Yukang Gan+4 more|arXiv (Cornell University)|Apr 18, 2016

Advanced Vision and Imaging参考文献 25被引用 12

一句话总结

本文提出了一种长短期记忆融合（LSTM-F）模型，通过堆叠的卷积层和LSTM层捕捉垂直空间依赖关系，融合RGB与深度特征，再在通道间融合并双向传播，以实现完整的2D全局上下文。该方法在SUNRGBD数据集上实现了48.1%的平均类别准确率，创下新SOTA纪录，较之前工作提升11.8%。

ABSTRACT

Semantic labeling of RGB-D scenes is crucial to many intelligent applications including perceptual robotics. It generates pixelwise and fine-grained label maps from simultaneously sensed photometric (RGB) and depth channels. This paper addresses this problem by i) developing a novel Long Short-Term Memorized Fusion (LSTM-F) Model that captures and fuses contextual information from multiple channels of photometric and depth data, and ii) incorporating this model into deep convolutional neural networks (CNNs) for end-to-end training. Specifically, global contexts in photometric and depth channels are, respectively, captured by stacking several convolutional layers and a long short-term memory layer; the memory layer encodes both short-range and long-range spatial dependencies in an image along the vertical direction. Another long short-term memorized fusion layer is set up to integrate the contexts along the vertical direction from different channels, and perform bi-directional propagation of the fused vertical contexts along the horizontal direction to obtain true 2D global contexts. At last, the fused contextual representation is concatenated with the convolutional features extracted from the photometric channels in order to improve the accuracy of fine-scale semantic labeling. Our proposed model has set a new state of the art, i.e., 48.1% average class accuracy over 37 categories 11.8% improvement), on the large-scale SUNRGBD dataset.1

研究动机与目标

• 通过有效融合光度与深度数据，提升RGB-D场景语义标注的准确性。
• 利用循环记忆机制建模RGB和深度图像中的短程与长程空间依赖关系。
• 将多模态的全局上下文表征整合到统一特征空间中，以实现细粒度的像素级标注。
• 实现端到端训练深度神经网络，采用所提出的融合机制。
• 在大规模RGB-D场景理解基准上实现SOTA性能。

提出的方法

• 设计了一种长短期记忆融合（LSTM-F）模型，通过堆叠的卷积层后接沿垂直方向的LSTM层，捕捉RGB和深度通道中的全局空间上下文。
• LSTM层对每个模态特征图的垂直维度编码短程与长程空间依赖关系。
• 第二个LSTM-F层沿垂直轴融合RGB与深度模态的垂直上下文表征。
• 在水平方向对融合后的垂直上下文实施双向传播，以捕捉真正的2D全局上下文。
• 将最终融合的上下文表征与原始光度卷积特征拼接，以增强细粒度语义标注。
• 整个网络采用带有所提出LSTM-F融合模块的深度CNN框架进行端到端训练。

实验结果

研究问题

• RQ1 循环记忆机制能否有效建模RGB-D场景标注中的长程空间依赖关系？
• RQ2 基于LSTM的融合层融合RGB与深度模态的上下文特征，能否提升语义分割的准确性？
• RQ3 在水平维度上对融合后的垂直上下文实施双向传播，能否恢复真正的2D全局上下文？
• RQ4 将学习到的全局上下文与局部卷积特征结合，能否提升细粒度语义标注的性能？
• RQ5 与现有SOTA方法相比，所提出的LSTM-F融合模型在大规模RGB-D数据集上能实现多大的性能提升？

主要发现

• 所提出的LSTM-F模型在SUNRGBD数据集上实现了48.1%的平均类别准确率（37类），创下新SOTA纪录。
• 与先前SOTA方法相比，该方法在平均类别准确率上实现了11.8%的显著提升。
• 双向LSTM融合的集成有效建模了完整的2D全局上下文，增强了语义标注的特征表征。
• 长短期记忆层的使用有效捕捉了RGB与深度特征在垂直方向上的短程与长程空间依赖关系。
• 将融合后的全局上下文与局部卷积特征拼接，可实现更准确、更细粒度的像素级预测。
• 端到端训练策略确保了最优的特征学习与融合，是模型卓越性能的重要贡献。