[论文解读] Propagating Confidences through CNNs for Sparse Data Regression

Abdelrahman Eldesokey, Michael Felsberg+1 more|arXiv (Cornell University)|May 30, 2018

Advanced Neural Network Applications被引用 75

一句话总结

引入一个代数约束的归一化卷积层，用于处理稀疏输入，通过在层之间传播连续置信度来实现密集输出和像素级置信度图，从而以更少的参数完成深度完成。

ABSTRACT

In most computer vision applications, convolutional neural networks (CNNs) operate on dense image data generated by ordinary cameras. Designing CNNs for sparse and irregularly spaced input data is still an open problem with numerous applications in autonomous driving, robotics, and surveillance. To tackle this challenging problem, we introduce an algebraically-constrained convolution layer for CNNs with sparse input and demonstrate its capabilities for the scene depth completion task. We propose novel strategies for determining the confidence from the convolution operation and propagating it to consecutive layers. Furthermore, we propose an objective function that simultaneously minimizes the data error while maximizing the output confidence. Comprehensive experiments are performed on the KITTI depth benchmark and the results clearly demonstrate that the proposed approach achieves superior performance while requiring three times fewer parameters than the state-of-the-art methods. Moreover, our approach produces a continuous pixel-wise confidence map enabling information fusion, state inference, and decision support.

研究动机与目标

• 解决视觉任务中对稀疏、不规则输入数据的回归挑战。
• 开发一个代数约束的归一化卷积算子，在层间传播连续置信度。
• 对权重施加非负约束以保持有效的置信度，并设计一个在数据误差与输出置信度之间平衡的损失函数。
• 提出一个分辨率多尺度的网络，其共享权重并通过归一化卷积实现尺度融合，从而保持紧凑同时改善感受野。
• 在 KITTI 上展示最先进的深度完成，同时参数量更少，并提供像素级置信度图用于融合和决策支持。

提出的方法

• 使用带置信掩码的归一化卷积框架来处理稀疏输入。
• 在训练过程中使用可微非线性（如 softplus）以非负方式学习适用性（局部化）函数 a。
• 定义前向传播 Z= (邻域内 Z_prev * C_prev * Gamma(W) 的和) / (邻域内 C_prev * Gamma(W) 的和) + eps。
• 使用几何比率的 Grammian 行列式传播置信度，实例化为 C_out = (邻域内 C_prev * Gamma(W) 的和 + eps) / (邻域内 Gamma(W) 的和)。
• 引入一个将数据误差（Huber 范数）与随纪元增长的置信项相结合的损失，以最大化输出置信度而不过度膨胀。
• 采用分层多尺度架构，具有共享权重并通过归一化卷积实现利用置信图的尺度融合。

实验结果

研究问题

• RQ1 连续置信度能否通过 CNN 层在稀疏数据回归任务中传播？
• RQ2 代数约束的归一化卷积在稀疏输入下是否能提升深度完成并减少参数量？
• RQ3 利用置信信息的多尺度融合对重建精度与不确定性估计有何影响？
• RQ4 在 KITTI 上与最先进的稀疏深度完成方法在准确性与模型规模方面相比如何？

主要发现

Method	MAE [m]	RMSE [m]	MRE	delta<1.01	delta<1.01^2	delta<1.01^3	#Params	Output Conf.
CNN	0.78	2.97	-	-	-	-	2.5e4	No
CNN+mask	0.79	2.24	-	-	-	-	2.5e4	No
SparseConv	0.58	1.80	0.035	0.33	0.65	0.82	2.5e4	No
Sparse-To-Dense	0.70	1.68	0.039	0.21	0.41	0.59	3.4e6	No
DCCS-1-Layer	0.83	2.77	0.054	0.30	0.47	0.59	1.0e3	No
DCCS-2-Layers	0.47	1.45	0.028	0.41	0.68	0.80	1.8e3	No
DCCS-3-Layers	0.43	1.35	0.024	0.48	0.73	0.83	1.7e3	No
NConv-1-Scale(16ch)	0.40	1.58	0.022	0.60	0.81	2.5e4	Yes
NConv-1-Scale(4ch)	0.42	1.59	0.022	0.59	0.80	2.0e3	Yes
NConv-HMS	0.38	1.37	0.021	0.60	0.81	4.8e2	Yes
NConv-SF-STD	0.53	3.0	0.037	0.59	0.80	4.8e2	No

• 提出的 NConv-HMS 架构在 KITTI 深度基准上达到最先进的结果，同时仅使用 480 个参数。
• 单尺度 NConv-1-Scale(16ch) 在 MAE、MRE 和 delta 指标上超越可比方法，显示出连续置信度相对于二进制掩码的优势。
• 紧凑型的 NConv-1-Scale(4ch) 以显著更少的参数保持了有竞争力的性能。
• 多尺度融合配合带置信度的归一化卷积（NConv-HMS）将 RMSE 提升至接近最佳多层方法，同时保持参数量极低。
• 基于置信度的尺度融合（NConv-HMS）显著优于忽略置信信息的标准融合（NConv-SF-STD）。
• 在测试集上，所提出的方法在整体性能上超过了已发布的最先进方法，包括 DCCS-3-Layers。