[论文解读] Semantic Object Parsing with Graph LSTM

Xiaodan Liang, Xiaohui Shen+3 more|arXiv (Cornell University)|Mar 23, 2016

Multimodal Machine Learning Applications参考文献 37被引用 7

一句话总结

本文提出 Graph LSTM，一种新颖的循环神经网络，将 LSTMs 扩展至图结构数据，用于语义对象解析。通过使用自适应超像素图和置信度驱动的节点更新机制，其比固定拓扑结构的 LSTMs 更高效地捕捉全局上下文，在四个基准数据集上实现最先进性能，PASCAL-Person-Part 数据集上的平均 IoU 达 60.16%。

ABSTRACT

By taking the semantic object parsing task as an exemplar application scenario, we propose the Graph Long Short-Term Memory (Graph LSTM) network, which is the generalization of LSTM from sequential data or multi-dimensional data to general graph-structured data. Particularly, instead of evenly and fixedly dividing an image to pixels or patches in existing multi-dimensional LSTM structures (e.g., Row, Grid and Diagonal LSTMs), we take each arbitrary-shaped superpixel as a semantically consistent node, and adaptively construct an undirected graph for each image, where the spatial relations of the superpixels are naturally used as edges. Constructed on such an adaptive graph topology, the Graph LSTM is more naturally aligned with the visual patterns in the image (e.g., object boundaries or appearance similarities) and provides a more economical information propagation route. Furthermore, for each optimization step over Graph LSTM, we propose to use a confidence-driven scheme to update the hidden and memory states of nodes progressively till all nodes are updated. In addition, for each node, the forgets gates are adaptively learned to capture different degrees of semantic correlation with neighboring nodes. Comprehensive evaluations on four diverse semantic object parsing datasets well demonstrate the significant superiority of our Graph LSTM over other state-of-the-art solutions.

研究动机与目标

• 解决固定拓扑结构 LSTMs 在图像解析中建模长距离依赖关系和全局上下文的局限性。
• 克服现有多维 LSTMs 中固定局部邻域结构带来的效率低下与性能欠佳问题。
• 通过利用与图像语义和物体边界对齐的自适应图结构，提升语义对象解析性能。
• 设计一种动态的、基于置信度的节点更新机制，以增强超像素之间的信息传播与推理能力。
• 实现自适应遗忘门机制，根据语义相关性对邻近节点区别对待，从而改善上下文建模。

提出的方法

• 使用任意形状的超像素作为节点，空间邻近关系作为边，为每张图像构建自适应无向图。
• 通过超像素过分割将空间上和视觉上相似的像素分组，降低计算复杂度，同时保持语义一致性。
• 实施置信度驱动机制，动态选择起始超像素节点，并根据预测置信度确定节点更新顺序。
• 引入自适应遗忘门机制，使用共享参数学习来自不同邻近节点的差异影响权重，实现选择性记忆更新。
• 在 Graph LSTM 层之间应用残差连接，以稳定训练并提升深层网络架构的性能。
• 将 Graph LSTM 的更新规则基于标准 LSTM 组件（输入门、遗忘门、输出门）进行公式化，但将其应用于具有自适应拓扑结构和动态顺序的图节点。

实验结果

研究问题

• RQ1 如何将 LSTMs 从序列化和多维数据推广至任意图结构数据，以支持图像解析？
• RQ2 使用自适应超像素图拓扑结构与固定局部邻域结构相比，在建模长距离依赖关系方面有何影响？
• RQ3 与固定更新序列相比，置信度驱动的节点更新策略如何提升推理效率与准确性？
• RQ4 自适应遗忘门在建模邻近超像素之间可变语义相关性方面有何贡献？
• RQ5 Graph LSTM 是否能在多样化的语义对象解析基准数据集上实现最先进性能，同时提升边界保持能力与全局推理能力？

主要发现

• Graph LSTM 在 PASCAL-Person-Part 数据集上实现了 60.16% 的平均 IoU，优于带有残差连接的基线模型（59.12%）以及所有先前方法。
• 使用自适应遗忘门相比相同遗忘门机制，性能提升 0.95%（平均 IoU 从 59.21% 提升至 60.16%），证明了上下文感知记忆控制的优势。
• 当每张图像的超像素数量超过 1,000 个后，性能趋于饱和，1,250 和 1,500 个超像素仅带来微小提升，因此选择约 1,000 个超像素作为效率与准确性的平衡点。
• Graph LSTM 通过聚焦于语义上有意义的连接，减少冗余计算，避免在均匀区域进行不必要的更新。
• 定性结果表明，得益于更优的全局上下文建模，对模糊或易混淆区域（如上肢与下肢）的解析效果得到改善。
• 失败案例揭示了在分割极小物体以及外观相似部分（如鞋子与长裤）时仍存在局限，表明在细粒度定位方面仍具挑战。