[论文解读] Three for one and one for three: Flow, Segmentation, and Surface Normals

Hoàng-Ân Lê, Anil S. Baslamisli+2 more|arXiv (Cornell University)|Jul 19, 2018

Advanced Vision and Imaging被引用 5

一句话总结

本文提出了一种模块化、有监督的优化网络，利用光流、语义分割和表面法线作为互补线索，相互提升各自的准确性。基于大规模带有密集标注的合成数据集，该方法表明联合建模显著提升了边界分割、区域一致性以及三维场景结构的恢复效果，当三种模态同时使用时取得最佳结果。

ABSTRACT

Optical flow, semantic segmentation, and surface normals represent different information modalities, yet together they bring better cues for scene understanding problems. In this paper, we study the influence between the three modalities: how one impacts on the others and their efficiency in combination. We employ a modular approach using a convolutional refinement network which is trained supervised but isolated from RGB images to enforce joint modality features. To assist the training process, we create a large-scale synthetic outdoor dataset that supports dense annotation of semantic segmentation, optical flow, and surface normals. The experimental results show positive influence among the three modalities, especially for objects' boundaries, region consistency, and scene structures.

研究动机与目标

• 研究光流、语义分割和表面法线在场景理解中相互之间的影响。
• 开发一种模块化优化框架，利用另外两个任务的预测结果来优化其中一个任务。
• 构建一个大规模的合成数据集，为自然户外场景中的所有三种模态提供密集的真实标注。
• 评估联合建模在提升准确性方面的有效性，特别是在物体边界和复杂区域的表现。
• 探究预测的模态输出是否能在知识蒸馏中优于真实标签，用于优化任务。

提出的方法

• 基于卷积神经网络的优化模块通过有监督方式训练，利用两个模态的预测结果来优化第三个模态。
• 该方法将优化网络与原始RGB输入隔离，仅关注跨模态特征交互。
• 生成了一个大规模的自然场景（花园、公园）合成数据集，包含光流、语义分割和表面法线的真实标注。
• 优化网络利用两个预测模态的特征来优化第三个模态，损失函数按任务分别优化。
• 通过使用预测分割的软标签（平滑的softmax）而非硬性的one-hot标签，探索了知识蒸馏的应用。
• 实验使用真实世界数据集（VKITTI、Nature）和合成数据，评估不同数据集和模态组合下的性能表现。

实验结果

研究问题

• RQ1 光流、语义分割和表面法线在预测准确性方面如何相互影响？
• RQ2 模块化优化网络是否能有效利用另外两个模态的预测结果来优化某一任务？
• RQ3 使用预测模态输出作为监督信号进行优化，是否优于使用真实标签？
• RQ4 联合建模对边界准确性和区域一致性有何影响？
• RQ5 从软预测中进行知识蒸馏在提升优化性能方面有多有效？

主要发现

• 三种模态联合使用时性能最佳，在VKITTI（2.39）和Nature（14.21）数据集上的光流优化中，平均端到端误差（EPE）最低。
• 使用预测分割和表面法线联合优化，比单独使用任一模态更有效地降低光流误差，尤其在遮挡和边界区域表现更优。
• 表面法线优化显著受益于分割和光流预测，当使用预测光流和分割联合优化时，基线方法MarrRevisited的IoU从48.13（平均）提升至64.39（平均）。
• 在表面法线优化中，使用软标签的预测分割优于真实标签的one-hot表示，表明模型预测中存在有效的知识蒸馏。
• 利用预测光流和法线优化语义分割可获得更平滑的边界并减少噪声，尽管由于错误传播导致性能略有下降。
• 视觉结果表明，联合优化显著提升了复杂区域（如天空、树木和路面）的细节恢复效果，尤其在具有复杂光照和纹理的Nature数据集中表现更明显。