[论文解读] Optical Flow with Semantic Segmentation and Localized Layers

Laura Sevilla-Lara, Deqing Sun+2 more|arXiv (Cornell University)|Mar 12, 2016

Advanced Vision and Imaging参考文献 35被引用 15

一句话总结

本文提出语义光流（SOF），一种通过整合语义分割来应用类别特定运动模型（平面使用单应变换，运动物体使用带偏差的仿射变换，复杂区域使用密集光流）以改进单目光流估计的方法。该方法采用空间自适应的局部化分层模型，实现区域自适应。SOF 在 KITTI-2015 基准测试中，作为已发表的单目方法，实现了最低误差，显著提升了运动边界和低纹理区域的准确性。

ABSTRACT

Existing optical flow methods make generic, spatially homogeneous, assumptions about the spatial structure of the flow. In reality, optical flow varies across an image depending on object class. Simply put, different objects move differently. Here we exploit recent advances in static semantic scene segmentation to segment the image into objects of different types. We define different models of image motion in these regions depending on the type of object. For example, we model the motion on roads with homographies, vegetation with spatially smooth flow, and independently moving objects like cars and planes with affine motion plus deviations. We then pose the flow estimation problem using a novel formulation of localized layers, which addresses limitations of traditional layered models for dealing with complex scene motion. Our semantic flow method achieves the lowest error of any published monocular method in the KITTI-2015 flow benchmark and produces qualitatively better flow and segmentation than recent top methods on a wide range of natural videos.

研究动机与目标

• 在运动边界、低纹理区域和快速运动等挑战性场景中提升光流估计性能。
• 利用语义分割，为不同物体类别应用定制化运动模型（例如，道路使用单应变换，车辆使用仿射变换）。
• 通过引入空间自适应的局部化分层结构，解决全局分层模型的局限性，使分层结构在不同区域可变。
• 通过运动与语义之间的相互优化，同时提升光流精度与分割质量。
• 展示在真实世界视频序列中，将语义先验融入光流估计的优越性。

提出的方法

• 该方法使用最先进的语义分割网络，将图像区域分类为物体类（Things，可独立运动的物体）、平面类（Planes，如道路等平坦表面）和物质类（Stuff，复杂非平面区域）。
• 针对每种类别应用不同的运动模型：平面类使用单应变换，物体类使用带偏差的仿射变换，物质类使用空间可变的密集光流。
• 引入局部化分层模型，其中每个空间块最多包含两层（例如，前景物体与背景），且各区域的层数与覆盖范围可变。
• 将运动估计建模为一个优化问题，强制与语义标签保持一致，并偏好与物体边界对齐的分层分割。
• 采用联合优化框架，迭代地优化光流与分割结果，从而同时提升两者性能。
• 该方法在 KITTI-2015 基准和多样化 YouTube 视频数据集上端到端进行训练与评估，使用多尺度损失和正则化策略。

实验结果

研究问题

• RQ1 语义分割能否在低纹理区域、快速运动区域和遮挡边界处提升光流估计性能？
• RQ2 针对不同类别设计的运动模型（如道路使用单应变换，车辆使用仿射变换）是否能比通用模型获得更高精度的光流？
• RQ3 在空间上可变的层数与覆盖范围的局部化分层模型，是否在复杂场景中优于全局分层模型？
• RQ4 光流估计能否提升语义分割质量，尤其是在物体边界区域？
• RQ5 将语义信息与运动建模相结合，能否在真实世界复杂序列中减少光流异常值？

主要发现

• SOF 在所有已发表的单目光流方法中，于 KITTI-2015 基准测试中取得最低误差，Fl-all 错误率为 16.81%。
• 与 DiscreteFlow 相比，该方法平均降低 5.5% 的光流误差，尤其在道路区域和运动车辆附近区域提升最大。
• 在遮挡区域，SOF 平均减少 30% 的异常值，并显著提升运动边界处的光流精度，尤其在平面类与物体类中表现突出。
• 在多样化 YouTube 视频序列中，SOF 在定性效果上优于最先进方法，尤其在精细刻画物体边界方面表现更优。
• 光流估计能改善初始语义分割结果，尤其在细长或模糊区域表现显著，证明了运动与语义之间的相互优化机制。
• 运行时间可控，每帧 KITTI-2015 图像总耗时约 6 分钟，其中主要耗时来自初始光流估计（约 3 分钟）和物体运动建模（约 1-2 分钟）。