[论文解读] Outline Objects using Deep Reinforcement Learning

Zhenxin Wang, Sayan Sarcar+3 more|arXiv (Cornell University)|Apr 10, 2018

Advanced Neural Network Applications参考文献 29被引用 5

一句话总结

本文提出 DeepOutline，这是首个将语义图像分割建模为逐步轮廓化过程的深度强化学习方法，通过将分割视为序列决策任务，实现端到端的物体轮廓生成。通过使用 Delta-Net 将全局上下文与通过学习的位置图获得的精确局部空间信息相结合，DeepOutline 在 COCO val2017 数据集的中型和大型人物类别上实现了最先进性能，优于现有方法，并为密集预测任务提供了一种新颖的分而治之框架。

ABSTRACT

Image segmentation needs both local boundary position information and global object context information. The performance of the recent state-of-the-art method, fully convolutional networks, reaches a bottleneck due to the neural network limit after balancing between the two types of information simultaneously in an end-to-end training style. To overcome this problem, we divide the semantic image segmentation into temporal subtasks. First, we find a possible pixel position of some object boundary; then trace the boundary at steps within a limited length until the whole object is outlined. We present the first deep reinforcement learning approach to semantic image segmentation, called DeepOutline, which outperforms other algorithms in Coco detection leaderboard in the middle and large size person category in Coco val2017 dataset. Meanwhile, it provides an insight into a divide and conquer way by reinforcement learning on computer vision problems.

研究动机与目标

• 为解决端到端全卷积网络在语义图像分割中局部边界精度与全局上下文之间平衡的挑战，该挑战限制了模型性能。
• 探索图像分割是否可建模为类似人类勾勒的序列化过程，即逐步追踪边界。
• 开发一种强化学习框架，利用离散动作生成多边形顶点，同时通过学习的位置图保持空间感知能力。
• 为计算机视觉中的复杂密集预测问题提供一种新范式——通过强化学习实现分而治之。

提出的方法

• 该方法将语义分割建模为序列决策过程，其中智能体使用带有自定义动作空间的深度 Q 网络（DQN）选择物体轮廓的下一个顶点。
• 通过端到端学习位置图，引导智能体的动作，该图编码局部空间上下文与全局物体特征，以提升边界定位精度。
• 提出 Delta-Net 架构，通过建模不同尺度特征图之间的差异，捕捉细粒度空间细节，从而提升边界准确性。
• 智能体处于两种状态：笔抬起（选择新物体进行轮廓勾勒）和笔落下（追踪边界），状态图动态抑制已分割区域。
• 训练使用基于 IoU（交并比）的稀疏密集奖励，鼓励准确完成多边形预测。
• 该框架通过深度强化学习端到端训练，采用探索策略以提升在多样化物体形状与纹理下的泛化能力。

实验结果

研究问题

• RQ1 能否通过深度强化学习，将语义图像分割有效建模为一种序列化、逐步勾勒的过程？
• RQ2 深度强化学习智能体是否能仅通过离散动作和学习的位置图，实现对物体边界的高精度识别与追踪？
• RQ3 在基于强化学习的分割框架中，全局上下文与局部空间信息的融合如何影响边界准确性？
• RQ4 与端到端学习相比，将分割分解为子任务的分而治之策略在多大程度上提升了性能？

主要发现

• 在 COCO val2017 数据集的中型和大型人物类别上，DeepOutline 在检测排行榜上优于其他方法，达到最先进性能。
• 在 150,000 次有效训练轮次后，智能体的错误动作比例降至 2% 以下，表明学习过程具有良好的收敛性与可靠性。
• 由 Delta-Net 学习到的位置图能有效抑制已分割区域的响应，防止智能体重复绘制或重叠边界。
• 网络在训练初期优先关注边缘响应，但仅在 30k–80k 步后才开始抑制内部边缘，显示出空间推理能力的渐进式涌现。
• 失败案例主要源于小尺寸或细长的物体部分（如手指、脚趾）、相邻物体间相似的纹理，或同一类别中重叠的身体部位。
• 该方法表明，仅通过简单的动作（顶点选择）与学习的空间策略，即可在无需复杂后处理或手工设计特征的情况下实现具有竞争力的性能。