[论文解读] NeurVPS: Neural Vanishing Point Scanning via Conic Convolution

Yichao Zhou, Haozhi Qi+2 more|arXiv (Cornell University)|Oct 14, 2019

Advanced Vision and Imaging被引用 13

一句话总结

NeurVPS 提出了一种几何感知的深度学习框架，用于通过一种新颖的圆锥卷积算子实现端到端消失点检测。该算子将图像空间转换为规范圆锥坐标系，从而在结构线上实现局部特征提取。该方法在合成数据集和真实世界数据集上均取得了最先进性能，在准确性和鲁棒性方面显著优于先前的神经网络方法和传统方法。

ABSTRACT

We present a simple yet effective end-to-end trainable deep network with geometry-inspired convolutional operators for detecting vanishing points in images. Traditional convolutional neural networks rely on aggregating edge features and do not have mechanisms to directly exploit the geometric properties of vanishing points as the intersections of parallel lines. In this work, we identify a canonical conic space in which the neural network can effectively compute the global geometric information of vanishing points locally, and we propose a novel operator named conic convolution that can be implemented as regular convolutions in this space. This new operator explicitly enforces feature extractions and aggregations along the structural lines and yet has the same number of parameters as the regular 2D convolution. Our extensive experiments on both synthetic and real-world datasets show that the proposed operator significantly improves the performance of vanishing point detection over traditional methods. The code and dataset have been made publicly available at https://github.com/zhou13/neurvps.

研究动机与目标

• 为解决标准CNN在捕捉消失点几何特性方面的局限性，而消失点由平行线的交点定义。
• 设计一种深度学习架构，通过局部、方向感知的特征学习显式编码消失点的全局几何结构。
• 实现端到端训练，实现鲁棒且准确的消失点预测，无需依赖预训练的线检测器。
• 在角精度和异常值剔除方面超越现有深度学习方法和基于聚类的传统方法。

提出的方法

• 引入一种规范圆锥空间，其中对于每个像素和候选消失点，x轴从像素指向候选点，使结构线呈现为水平线。
• 提出一种圆锥卷积算子，在此圆锥空间中应用标准2D卷积，实现在结构线上沿局部特征聚合的同时保持参数效率。
• 采用多尺度特征提取流水线，结合最大池化操作，在不同分辨率下处理圆锥空间，增强分层几何推理能力。
• 采用双分支头结构：一个用于预测消失点置信度，另一个用于精炼其坐标，两者均实现端到端训练。
• 利用大规模合成数据，包含真实消失点标注，对网络进行监督，从而实现向真实世界场景的泛化能力。
• 引入位置编码，向网络提供候选点位置信息，提升定位精度。

实验结果

研究问题

• RQ1 深度神经网络是否能有效学习并利用消失点的几何结构，而无需依赖外部线检测器？
• RQ2 将图像转换为圆锥空间是否相比标准2D卷积能更有效地实现沿结构线的局部特征学习？
• RQ3 圆锥卷积层的数量如何影响消失点检测的性能？
• RQ4 在复杂场景的真实世界场景中，几何感知网络是否能超越标准CNN和基于聚类的传统方法？

主要发现

• 在Natural Scene数据集上，NeurVPS在1°容差下的角精度达到29.1%，显著优于强基线方法vpdet（18.5%）和所有神经网络基线方法。
• 在ScanNet数据集上，NeurVPS将平均误差降低6倍，中位数误差降低4倍，相比最佳基线方法（REG），实现4.5°的平均误差和3.0°的中位数误差。
• 圆锥卷积算子显著提升性能：增加圆锥卷积层数量（最多至×6）可提高精度，性能在×6时趋于饱和。
• NeurVPS在高精度场景（如误差<2°）下优于标准CNN和基于线的方法（如LSD + J-linkage），表明其具备更优的定位能力。
• 该方法在真实世界场景中泛化能力出色，在Natural Scene和ScanNet数据集上均取得最先进结果，尽管ScanNet中存在较大的真实标注误差。
• 消融实验确认圆锥卷积至关重要——若移除或替换为标准卷积，性能将显著下降。