[论文解读] Semantic Object Parsing with Local-Global Long Short-Term Memory

Xiaodan Liang, Xiaohui Shen+4 more|arXiv (Cornell University)|Nov 14, 2015

Multimodal Machine Learning Applications参考文献 31被引用 30

一句话总结

该论文提出了一种新型深度神经网络架构——局部-全局长短期记忆网络（LG-LSTM），通过联合建模邻近像素的局部空间依赖关系与整幅图像的全局上下文信息，提升语义物体分割中的特征学习能力。通过将LG-LSTM层堆叠在中间卷积特征之上，该方法在三个公开数据集上实现了端到端学习下的最先进性能，显著提升了基线卷积神经网络（CNN）及以往后处理方法的像素级分割准确率。

ABSTRACT

Semantic object parsing is a fundamental task for understanding objects in detail in computer vision community, where incorporating multi-level contextual information is critical for achieving such fine-grained pixel-level recognition. Prior methods often leverage the contextual information through post-processing predicted confidence maps. In this work, we propose a novel deep Local-Global Long Short-Term Memory (LG-LSTM) architecture to seamlessly incorporate short-distance and long-distance spatial dependencies into the feature learning over all pixel positions. In each LG-LSTM layer, local guidance from neighboring positions and global guidance from the whole image are imposed on each position to better exploit complex local and global contextual information. Individual LSTMs for distinct spatial dimensions are also utilized to intrinsically capture various spatial layouts of semantic parts in the images, yielding distinct hidden and memory cells of each position for each dimension. In our parsing approach, several LG-LSTM layers are stacked and appended to the intermediate convolutional layers to directly enhance visual features, allowing network parameters to be learned in an end-to-end way. The long chains of sequential computation by stacked LG-LSTM layers also enable each pixel to sense a much larger region for inference benefiting from the memorization of previous dependencies in all positions along all dimensions. Comprehensive evaluations on three public datasets well demonstrate the significant superiority of our LG-LSTM over other state-of-the-art methods.

研究动机与目标

• 解决卷积神经网络（CNN）在捕捉细粒度像素级物体分割任务中长距离和全局上下文依赖关系方面的局限性。
• 克服CRF或平均场近似等后处理技术在建模上下文关系时效率低下且性能不佳的问题。
• 开发一种深度学习架构，实现在特征学习过程中无缝融合局部与全局上下文信息，支持端到端训练。
• 通过保留空间维度与通道维度上长期依赖关系的记忆单元，提升视觉特征的判别能力。

提出的方法

• LG-LSTM架构在空间维度（水平、垂直和对角线方向）使用独立的LSTM，并引入深度LSTM以实现网络层之间的信息传递。
• 通过八个邻近空间位置的隐藏状态提供局部引导，实现丰富的局部上下文建模。
• 通过将前一层的隐藏特征图划分为九个网格，并对每个网格应用最大池化操作，提取具有判别性的全局特征，实现全局引导。
• 将全局与局部隐藏状态结合，作为每个位置LSTM的输入，使每个像素能够同时关注局部邻域与全图上下文。
• 将多层LG-LSTM堆叠，并附加到全卷积网络的中间卷积层上，实现分层特征增强。
• 记忆单元在所有位置上存储长期上下文依赖关系，使每个像素可通过序列计算感知更大的感受野。

实验结果

研究问题

• RQ1 是否能够通过统一的深度学习架构，在无需后处理的前提下，有效建模语义物体分割中的局部与全局空间依赖关系？
• RQ2 将局部空间连接与全局图像级上下文信息相结合，相较于标准CNN，能在多大程度上提升像素级分类准确率？
• RQ3 通过循环记忆单元捕捉的长距离依赖关系，在语义分割任务中对特征表示的增强作用有多大？
• RQ4 与CRF或平均场近似等传统后处理方法相比，所提出的LG-LSTM架构在准确率与效率方面是否具有优势？
• RQ5 LG-LSTM层的端到端学习是否能提升在具有外观与位置变化挑战的复杂分割任务中的泛化能力与鲁棒性？

主要发现

• 在PASCAL-Context数据集上，LG-LSTM模型实现了69.4%的平均交并比（mIoU），显著优于基线VGG16及其他最先进方法。
• 在Horse-Cow数据集上，LG-LSTM相比'LG-LSTM local_2'变体提升了4.19%的mIoU，相比'LG-LSTM local_4'提升了2.94%，证明八个空间连接的重要性。
• 在LG-LSTM中移除全局引导后，马类与牛类的mIoU分别下降1.27%与1.81%，证明全局上下文对消除歧义具有关键价值。
• 通过利用全局图像上下文，该模型显著减少了在模糊区域（如'skirt'与'dress'、'legs'与'pants'）的分割错误。
• 与参数量相当的五个额外卷积层相比，LG-LSTM在马类上提升mIoU 2.78%，在牛类上提升4.86%，表明其在建模长距离模式方面更具优势。
• 定性结果表明，与VGG16和Co-CNN相比，LG-LSTM生成的预测结果更具一致性、语义合理性，并更好地保持边界细节，尤其在尾巴、腿部等小尺寸或视觉相似区域表现更优。