[论文解读] The Fast Bilateral Solver

Jonathan T. Barron, Ben Poole|arXiv (Cornell University)|Nov 10, 2015

Advanced Vision and Imaging被引用 9

一句话总结

Fast Bilateral Solver 引入了一种高效、可微分的优化框架，用于边缘感知平滑，在立体匹配、深度超分、色彩化和语义分割等任务中实现了最先进（SOTA）的精度，同时比现有方法快10–1000倍。该方法在双边空间中构建一个正则化最小二乘问题，通过分层预条件化实现快速收敛，并可无缝集成到深度学习流水线中，前向与反向传播的复杂度保持一致。

ABSTRACT

We present the bilateral solver, a novel algorithm for edge-aware smoothing that combines the flexibility and speed of simple filtering approaches with the accuracy of domain-specific optimization algorithms. Our technique is capable of matching or improving upon state-of-the-art results on several different computer vision tasks (stereo, depth superresolution, colorization, and semantic segmentation) while being 10-1000 times faster than competing approaches. The bilateral solver is fast, robust, straightforward to generalize to new domains, and simple to integrate into deep learning pipelines.

研究动机与目标

• 开发一种快速、通用的边缘感知平滑技术，优于轻量级滤波与计算成本高昂的基于优化的方法。
• 通过确保反向传播与前向传播复杂度相当，实现与深度学习流水线的无缝集成。
• 在深度估计、色彩化和语义分割等多样化计算机视觉任务中实现泛化。
• 在不牺牲精度的前提下，显著降低卷积神经网络输出后处理阶段的计算成本，用于语义分割任务。
• 提供统一、可微分的抽象接口，用单一可扩展的求解器替代各类任务特定的优化方法。

提出的方法

• 该方法将正则化最小二乘优化问题形式化，其中解被约束为双边平滑——在图像区域内部平滑，但在边缘处不平滑。
• 利用从 YUV 色彩空间中的空间、亮度和色度差异导出的双随机化双边相似度矩阵 $\hat{W}$，定义边缘感知平滑性。
• 求解器在“双边空间”中运行，将问题转化为可利用分层预条件化和类似多重网格的初始化方法高效求解的线性系统。
• 通过求解单个线性系统，支持同时处理多个输入信号，实现批量处理与加速。
• 其设计天然具备可微性，反向传播与前向传播的复杂度一致，支持在深度神经网络中进行端到端训练。
• 对于语义分割等离散输出，通过通道独立平滑分类概率图，并利用低秩线性系统约减恢复平滑输出。

实验结果

研究问题

• RQ1 单一、通用的优化框架是否能在显著快于现有方法的前提下，实现在多样化计算机视觉任务中的最先进性能？
• RQ2 如何使边缘感知平滑具备可微性与高效性，以实现与深度学习流水线的集成？
• RQ3 在双边空间中采用线性最小二乘公式是否能在精度与速度上超越非线性、迭代式优化技术？
• RQ4 双边求解器在语义分割中能在多大程度上替代基于CRF的后处理，实现极低精度损失与显著速度提升？
• RQ5 双边求解器如何处理低秩或稀疏输入信号（如语义分割中的分类概率图）？

主要发现

• 与最先进立体匹配方法的输入相比，双边求解器将深度图误差降低了50%（MAE 从 6.00 降至 3.02，RMSE 从 38.8 降至 17.9）。
• 在色彩化任务中，相比 [25] 实现了 95 倍的加速，处理速度达每百万像素 0.854 秒，而 [25] 为每百万像素 80.99 秒。
• 在 Pascal VOC 2012 数据集上，双边求解器将 IOU 提升至 66.00%（相比仅使用 CNN 的 62.25%），总运行时间缩短至 169ms（相比 DenseCRF 的 976ms），实现 5.8 倍加速。
• 对于 CRF-RNN，双边求解器实现 70.68% 的 IOU，总运行时间为 913ms，虽略低于 CRF-RNN 的 72.96% IOU，但实现了 3.2 倍于 CRF-RNN 流水线的加速。
• 在语义分割中，双边求解器比基于 CRF 和 CRF-RNN 的方法快 8–10 倍，适用于实时应用。
• 尽管未显式对分类概率的 argmax 强制平滑，但过滤后的输出在视觉上更平滑、更准确，优于原始 CNN 输出。