[论文解读] Predicting Scene Parsing and Motion Dynamics in the Future

Xiaojie Jin, Huaxin Xiao+7 more|arXiv (Cornell University)|Nov 9, 2017

Human Pose and Action Recognition参考文献 3被引用 49

一句话总结

该论文提出了一种新颖的端到端深度学习模型，能够联合预测视频中的未来场景解析和光流，通过两种任务之间的相互监督提升准确性。通过利用运动预测来细化分割细节，并利用分割结果来引导类别特定的运动估计，该模型在Cityscapes数据集上实现了最先进性能，相较于基线模型，在多步未来预测中将终点误差（EPE）降低了1.79，mIoU提升了3.1%。

ABSTRACT

The ability of predicting the future is important for intelligent systems, e.g. autonomous vehicles and robots to plan early and make decisions accordingly. Future scene parsing and optical flow estimation are two key tasks that help agents better understand their environments as the former provides dense semantic information, i.e. what objects will be present and where they will appear, while the latter provides dense motion information, i.e. how the objects will move. In this paper, we propose a novel model to simultaneously predict scene parsing and optical flow in unobserved future video frames. To our best knowledge, this is the first attempt in jointly predicting scene parsing and motion dynamics. In particular, scene parsing enables structured motion prediction by decomposing optical flow into different groups while optical flow estimation brings reliable pixel-wise correspondence to scene parsing. By exploiting this mutually beneficial relationship, our model shows significantly better parsing and motion prediction results when compared to well-established baselines and individual prediction models on the large-scale Cityscapes dataset. In addition, we also demonstrate that our model can be used to predict the steering angle of the vehicles, which further verifies the ability of our model to learn latent representations of scene dynamics.

研究动机与目标

• 为解决未来场景理解中联合建模的缺乏，特别是针对需要同时具备语义与运动感知能力的自动驾驶系统。
• 通过利用语义与运动预测之间的互补关系，提升未来场景解析与光流预测的准确性。
• 通过迭代优化，实现长达10步的长期未来预测，输出稳定且细节丰富。
• 通过将模型应用于预测车辆转向角，展示其在真实世界导航任务中的实际应用价值。

提出的方法

• 模型采用双分支架构：光流预测网络与场景解析预测网络，通过共享特征提取实现端到端联合训练。
• 利用光流预测结果，通过判别性、时序一致的特征提升分割细节。
• 通过场景解析结果将光流分解为类别特定的运动组，提升运动估计的准确性。
• 在多步预测过程中采用循环微调机制，通过迭代更新权重以捕捉长期动态。
• 在光流特征顶部添加全连接层，回归转向角，支持下游应用评估。
• 该框架与主干网络无关，支持使用Cityscapes和Comma.ai数据集进行端到端训练。

实验结果

研究问题

• RQ1 联合预测未来场景解析与光流是否能优于独立预测每个任务？
• RQ2 解析与光流预测之间的相互监督在提升未来视频预测的准确性与泛化能力方面有何作用？
• RQ3 该模型在长期未来预测（如10个时间步）中能多大程度上保持准确性与细节？
• RQ4 预测出的解析与光流特征能否有效用于下游导航任务（如转向角预测）？
• RQ5 循环微调是否能提升模型对长期视频动态的建模能力？

主要发现

• 与强基线相比，该模型在10步未来预测中mIoU提升3.1%，终点误差（EPE）降低1.79。
• 在转向角预测中，该模型的均方误差（MSE）为2.96度²，优于Comma.ai基线（约4度²）。
• 循环微调使mIoU提升1.3%，EPE降低0.32，证实其在建模长期动态方面的有效性。
• 无论单步还是多步预测，该模型在性能上显著优于独立的解析或光流预测模型，以及基于图像扭曲的基线方法。
• 定性结果表明，与现有方法相比，该模型生成的场景解析与光流预测更具细节且时序一致性更强。
• 联合学习框架提升了泛化能力并生成更丰富的场景表征，该结论通过定量指标与下游应用均得到验证。