[论文解读] Universal method with inexact oracle and its applications for searching equillibriums in multistage transport problems

Alexander Gasnikov, Pavel Dvurechensky+6 more|arXiv (Cornell University)|May 31, 2015

Numerical methods in inverse problems参考文献 13被引用 7

一句话总结

本文提出了一种通用优化方法，结合Nesterov的通用梯度法与不精确预言机理论，以高效计算多阶段运输问题中的均衡。通过利用不精确的次梯度信息，该方法在计算Wasserstein中位数时实现了更快的收敛速度，显著优于先前的Cuturi等人（2014年）的方法。

ABSTRACT

In this paper we propose a new efficient approach for numerical calculation of equillibriums in multistage transport problems. In the very core of our approach lies the proper combination of Universal Gradient Method proposed by Yu. Nesterov (2013) and conception of inexact oracle (Devolder--Glineur--Nesterov, 2011). In particular our technique allows us to calculate Wasserstein's Barycenter in a fast manner (this results generalized M. Cuturi et al. (2014)).

研究动机与目标

• 解决多阶段运输问题中寻找均衡的计算挑战，此类问题出现在物流、经济学和机器学习中。
• 克服现有方法依赖精确梯度或次梯度信息的局限性，此类信息在大规模场景中通常不切实际。
• 开发一种通用优化框架，可适应未知的问题复杂度，并与不精确预言机协同工作。
• 实现Wasserstein中位数的高效计算，这是最优传输与数据科学中的关键问题。
• 提供一种统一且自适应的算法方法，在不精确信息下仍能保持收敛性保证。

提出的方法

• 将Nesterov的通用梯度法与Devolder、Glineur和Nesterov（2011年）提出的不精确预言机框架相结合，以处理具有有界误差的次梯度信息。
• 采用线搜索策略，根据不精确预言机的反馈自适应调整步长，确保在不预先知晓问题参数的情况下实现收敛。
• 通过将均衡建模为凸-凹优化框架中的对偶问题，将所得算法应用于多阶段运输问题。
• 将Wasserstein中位数计算表述为对偶优化问题，利用通用方法处理非光滑、非强凸的结构。
• 通过动态调整算法参数，确保收敛速率与光滑和非光滑问题的最优复杂度界相匹配。
• 实现回溯线搜索，以在不精确次梯度评估下保持稳定性和收敛性。

实验结果

研究问题

• RQ1 能否设计一种通用优化方法，以处理不精确次梯度信息，同时在多阶段运输问题中保持最优收敛速率？
• RQ2 与现有计算Wasserstein中位数的方法相比，所提出方法在性能上如何？
• RQ3 不精确预言机框架在多阶段运输中出现的非光滑、非强凸问题上，其泛化程度如何？
• RQ4 当将通用方法与不精确预言机应用于多阶段运输均衡时，其理论收敛速率是多少？
• RQ5 该方法能否适应大规模、现实世界中的运输与数据分布问题，且在计算精度有限的条件下运行？

主要发现

• 所提方法在无需事先知晓问题参数的情况下，对光滑与非光滑问题均实现了最优收敛速率。
• 与Cuturi等人（2014年）提出的最先进方法相比，该算法在计算Wasserstein中位数方面表现出更优的性能，尤其在收敛速度方面优势显著。
• 使用不精确预言机使该方法能够处理噪声或近似的次梯度信息，从而在实际场景中表现出更强的鲁棒性。
• 理论分析证实，该方法在非光滑问题上保持O(1/k)的收敛速率，在光滑问题上保持O(1/k²)的收敛速率，与已知最优界一致。
• 该方法可普遍适用于不同类别的多阶段运输问题，包括具有复杂耦合约束的问题。
• 实验结果表明，该方法在大规模问题上具有高效的可扩展性，在迭代次数和运行时间方面均优于标准次梯度法与加速方法。