[论文解读] Pymanopt: A Python Toolbox for Optimization on Manifolds using Automatic Differentiation

James T. Townsend, Niklas Koep+1 more|arXiv (Cornell University)|Mar 10, 2016

Advanced Numerical Analysis Techniques被引用 107

一句话总结

Pymanopt 是一个 Python 工具箱，能够在流形上进行优化，并具备自动微分，降低手动求导工作量，加速原型设计。它与 Autograd、Theano 或 TensorFlow 交互，并提供流形特定求解器。

ABSTRACT

Optimization on manifolds is a class of methods for optimization of an objective function, subject to constraints which are smooth, in the sense that the set of points which satisfy the constraints admits the structure of a differentiable manifold. While many optimization problems are of the described form, technicalities of differential geometry and the laborious calculation of derivatives pose a significant barrier for experimenting with these methods. We introduce Pymanopt (available at https://pymanopt.github.io), a toolbox for optimization on manifolds, implemented in Python, that---similarly to the Manopt Matlab toolbox---implements several manifold geometries and optimization algorithms. Moreover, we lower the barriers to users further by using automated differentiation for calculating derivative information, saving users time and saving them from potential calculation and implementation errors.

研究动机与目标

• 通过最小化导数计算障碍来简化光滑流形上的优化的动机。
• 提供一个基于 Python 的流水线，将流形几何与自动微分结合起来。
• 实现黎曼优化问题的快速原型设计，用户设置最小。

提出的方法

• 实现一个面向可微分流形优化的模块化 Python 工具包。
• 支持使用 Autograd、Theano 或 TensorFlow 定义的代价函数以进行自动微分。
• 公开诸如 Riemannian Trust Regions 的求解器，用于流形优化。
• 提供现成的流形几何（例如 PSD 固定秩、Grassmann 等）。
• 允许用户以最少的样板代码定义流形、代价函数和求解器。

实验结果

研究问题

• RQ1 如何通过在 Python 中使用自动微分使流形上的优化变得易于访问？
• RQ2 在利用 Python 生态系统的同时，轻量级、可扩展的工具箱能否达到 Matlab 的 Manopt 的可用性？
• RQ3 自动微分后端对流形优化的原型设计速度和错误减少有什么影响？

主要发现

• Pymanopt 使在不进行手动微分的情况下，轻松试验最先进的流形优化求解器成为可能。
• 该工具箱支持用于导数计算的多种后端（Autograd、Theano、TensorFlow）。
• 用户可以在最少的代码更改下，用不同的范数或鲁棒损失替换代价函数。
• 该设计模仿 Manopt，以便在 Python 中利用熟悉的流形和求解器结构。
• 该方法有望通过 TensorFlow 后端促进大规模应用。