[论文解读] Real-time visual tracking by deep reinforced decision making

Janghoon Choi, Junseok Kwon+1 more|arXiv (Cornell University)|Feb 21, 2017

Video Surveillance and Tracking Methods参考文献 46被引用 7

一句话总结

本文提出一种基于深度强化学习的实时视觉追踪方法，通过从动态模板池中选择最优模板，提升了对外观变化的鲁棒性并减少了追踪漂移。通过在合成追踪样本上使用策略梯度训练策略网络，该方法实现了43 fps的处理速度，并在OTB-2015和OTB-2013基准测试中相比基线方法取得了10%的OPE性能提升。

ABSTRACT

One of the major challenges of model-free visual tracking problem has been the difficulty originating from the unpredictable and drastic changes in the appearance of objects we target to track. Existing methods tackle this problem by updating the appearance model on-line in order to adapt to the changes in the appearance. Despite the success of these methods however, inaccurate and erroneous updates of the appearance model result in a tracker drift. In this paper, we introduce a novel real-time visual tracking algorithm based on a template selection strategy constructed by deep reinforcement learning methods. The tracking algorithm utilizes this strategy to choose the appropriate template for tracking a given frame. The template selection strategy is self-learned by utilizing a simple policy gradient method on numerous training episodes randomly generated from a tracking benchmark dataset. Our proposed reinforcement learning framework is generally applicable to other confidence map based tracking algorithms. The experiment shows that our tracking algorithm runs in real-time speed of 43 fps and the proposed policy network effectively decides the appropriate template for successful visual tracking.

研究动机与目标

• 解决视觉追踪中因在线外观模型更新不准确而导致的追踪漂移问题。
• 克服在线学习设置中缺乏何时以及如何更新外观模型的显式标签的问题。
• 利用强化学习开发一种自学习、可泛化的模板选择策略，适用于实时视觉追踪。
• 将深度强化学习与孪生匹配网络相结合，以提升长期追踪的准确性和鲁棒性。
• 通过模块化设计，使该方法可适用于其他基于置信度图的追踪算法。

提出的方法

• 将视觉追踪建模为序列决策问题，其中智能体根据状态表示从模板池中选择最佳模板。
• 使用具有共享卷积层的孪生匹配网络提取特征，并计算模板与当前帧之间的相似度得分。
• 在VOT-2015基准数据集生成的随机追踪样本上，通过策略梯度方法训练策略网络。
• 采用经验回放记忆机制以稳定训练过程并提高策略学习的样本效率。
• 使用卷积层对状态进行抽象，处理预测得分图后生成模板选择的动作概率。
• 使用策略网络输出的归一化得分，选择置信度最高的模板用于每帧的定位。

实验结果

研究问题

• RQ1 深度强化学习能否有效学习一种模板选择策略，以减少视觉追踪中的追踪漂移？
• RQ2 通过策略梯度训练的策略网络与启发式或最大似然模板选择相比，在长期追踪中表现如何？
• RQ3 所提方法在遮挡、光照变化和尺度变化等挑战性属性上的性能提升程度如何？
• RQ4 为保持高性能而不对噪声或模糊样本过拟合，最优更新间隔是什么？
• RQ5 基于强化学习的模板选择策略能否泛化到其他基于置信度图的追踪框架？

主要发现

• 所提追踪器实现了43 fps的实时性能，适用于实际部署。
• 与基线方法相比，该策略网络在OTB-2013和OTB-2015基准测试中的OPE（总体精度评估）性能提升了10%。
• 在包括遮挡、光照变化和尺度变化在内的八个挑战性属性上，该追踪器表现出具有竞争力的性能。
• 在长序列（如blurFace、basketball、panda）中性能提升最为显著，表明正确的模板选择可有效缓解漂移问题。
• 减少更新间隔可略微提升性能，但增加间隔则导致性能下降，表明存在最优的更新频率。
• 定性分析证实，策略网络学会避免模糊或高不确定性的预测，更倾向于选择低不确定性、可靠的模板。