[论文解读] Opt: A Domain Specific Language for Non-linear Least Squares Optimization in Graphics and Imaging

Zachary DeVito, Michael W. Mara+7 more|arXiv (Cornell University)|Apr 22, 2016

Computer Graphics and Visualization Techniques参考文献 14被引用 12

一句话总结

本文提出 Opt，一种领域特定语言，使图形与视觉研究者能够使用图像和网格上的高层次、基于stencil的能量函数来表达非线性最小二乘优化问题。Opt 编译器可自动生成高度优化的 GPU 内核，用于高斯-牛顿法与列文伯格-马夸尔特法求解器，其性能可与手写调优的应用特定实现相媲美，同时支持在精度、无矩阵或显式存储、以及求解器变体之间的灵活权衡。

ABSTRACT

Many graphics and vision problems can be expressed as non-linear least squares optimizations of objective functions over visual data, such as images and meshes. The mathematical descriptions of these functions are extremely concise, but their implementation in real code is tedious, especially when optimized for real-time performance on modern GPUs in interactive applications. In this work, we propose a new language, Opt (available under http://optlang.org), for writing these objective functions over image- or graph-structured unknowns concisely and at a high level. Our compiler automatically transforms these specifications into state-of-the-art GPU solvers based on Gauss-Newton or Levenberg-Marquardt methods. Opt can generate different variations of the solver, so users can easily explore tradeoffs in numerical precision, matrix-free methods, and solver approaches. In our results, we implement a variety of real-world graphics and vision applications. Their energy functions are expressible in tens of lines of code, and produce highly-optimized GPU solver implementations. These solver have performance competitive with the best published hand-tuned, application-specific GPU solvers, and orders of magnitude beyond a general-purpose auto-generated solver.

研究动机与目标

• 解决为图形与视觉应用手写优化、GPU 加速的非线性最小二乘求解器所面临的高实现成本与维护负担。
• 使研究人员能够基于图像或网格数据上的 stencil 和图结构，使用简洁的高层代码表达复杂的优化问题。
• 自动生成支持无矩阵与显式存储求解方法的高效、应用特定的 GPU 内核。
• 在不修改能量函数的前提下，提供求解器配置的灵活性，例如数值精度、高斯-牛顿法与列文伯格-马夸尔特法的选择，以及混合显式化策略。
• 弥合高层数学公式与底层 GPU 优化求解器之间的鸿沟，减少对专家级 CUDA 编程的需求。

提出的方法

• Opt 语言允许用户使用固定大小、平移不变的 stencil 模式，在 2D/3D 网格、网格或通用图上定义能量函数。
• 编译器使用符号与自动微分的混合方法（简化版 D⋆ 算法）计算高斯-牛顿法与列文伯格-马夸尔特法所需的导数项，如 JT F 和 JT J。
• 系统通过代码生成与元编程技术，自动生成用于矩阵-向量乘积（如 JT Jp）的优化 GPU 内核，以消除运行时开销。
• 系统支持无矩阵与显式存储的线性求解器，以内置的并行预处理共轭梯度法（PCG）作为内层求解器，并支持用于性能调优的混合显式化策略。
• 该框架将能量定义与求解器算法解耦，支持在高斯-牛顿法、列文伯格-马夸尔特法及其他变体之间无缝切换。
• 编译器生成高度优化的 CUDA 代码，可直接集成至求解器流水线，确保性能损失最小化。

实验结果

研究问题

• RQ1 高层领域特定语言是否能显著降低在图形与视觉应用中实现 GPU 加速的非线性最小二乘求解器的复杂度？
• RQ2 自动微分计算与代码生成在多大程度上可与手写优化、应用特定的 GPU 求解器性能相匹配或超越？
• RQ3 在实践中，混合显式化策略（部分无矩阵、部分显式）与完全无矩阵或完全显式方法相比，效果如何？
• RQ4 相同的能量定义是否能高效地编译为不同数值精度（单精度 vs. 双精度）和不同求解器类型（GN vs. LM）的求解器？
• RQ5 基于 stencil 的抽象是否能在多种图形与视觉应用中实现简洁、可维护且高性能的代码？

主要发现

• Opt 生成的求解器性能可与最佳已发表的手写调优、应用特定的 GPU 求解器相媲美，而后者需要数月的手动优化。
• 该系统在运行时效率方面优于通用优化库（如 Ceres）数个数量级。
• 在所有情况下，无矩阵变体均比显式存储变体更高效，除在 Cotangent-weighted Laplacian Smoothing 之外，混合显式化策略在 Shape From Shading 中性能最高可达 7 倍提升。
• 混合显式化策略（如在 Shape From Shading 中仅显式化光照项）相比完全无矩阵与完全显式方法，性能提升达 2–7 倍。
• 在图像变形任务中，使用隐式网格连接代替显式图表示，可将中大型图像的收敛时间减少最多 2 倍。
• 系统支持灵活配置：用户无需修改能量函数，即可在单精度/双精度、GN/LM 求解器以及无矩阵/显式化模式之间自由切换。