[论文解读] The OS* Algorithm: a Joint Approach to Exact Optimization and Sampling

Marc Dymetman, Guillaume Bouchard+1 more|arXiv (Cornell University)|Jul 3, 2012

Machine Learning and Algorithms参考文献 19被引用 9

一句话总结

OS* 算法通过使用被拒绝样本迭代地改进目标分布的功能上界，统一了精确优化与采样。它结合了自适应拒绝采样与 A* 风格的搜索，使 HMM 和图形模型等模型在高维情形下的推理效率提升达 10 倍。

ABSTRACT

Most current sampling algorithms for high-dimensional distributions are based on MCMC techniques and are approximate in the sense that they are valid only asymptotically. Rejection sampling, on the other hand, produces valid samples, but is unrealistically slow in high-dimension spaces. The OS* algorithm that we propose is a unified approach to exact optimization and sampling, based on incremental refinements of a functional upper bound, which combines ideas of adaptive rejection sampling and of A* optimization search. We show that the choice of the refinement can be done in a way that ensures tractability in high-dimension spaces, and we present first experiments in two different settings: inference in high-order HMMs and in large discrete graphical models.

研究动机与目标

• 解决标准 MCMC 采样（渐近有效）和拒绝采样（在高维中较慢）在高维分布中的低效问题。
• 开发一个统一框架，将精确优化与精确采样视为在共同的功能上界形式下的对偶问题。
• 通过利用被拒绝样本中的证据，动态改进提议上界，实现在 HMM 和大型离散图形模型等高阶模型中的可处理推理。
• 在不依赖对改进候选进行全局优化的前提下，提高拒绝采样的接受率，而是采用基于拒绝事件的局部自适应改进。

提出的方法

• 使用一个上界覆盖未归一化目标密度 $ p $ 的提议分布 $ q $，从而实现具有精确样本的拒绝采样。
• 在每次拒绝后自适应地改进 $ q $：通过识别在被拒绝点 $ x $ 处由差距 $ q(x) - p(x) $ 隐含的软约束，并将其整合到 $ q $ 中形成 $ q' $。
• 在采样时，最小化上界 $ q $ 的 $ L_1 $-范数以提高接受率；在优化时，最小化 $ L_\infty $-范数以改进最大值的上界。
• 利用动态规划或 $ q $ 上的低复杂度推理，高效地在每一步改进中从提议分布中采样或最大化。
• 利用拒绝历史引导改进：优先在 $ q $ 过松的区域进行改进，确保改进既有效又计算高效。
• 使用 $ \hat{\tau}^{\textrm{tot}}_{T} = \frac{n\tau_{T}^{\textrm{samp}}}{\hat{\pi}_{T}} + \tau_{T}^{\textrm{ref}} $ 估计采样 $ n $ 个点的期望时间，从而实现对改进过程的自适应停止。

实验结果

研究问题

• RQ1 能否通过功能上界统一精确优化与精确采样，设计出单一算法？
• RQ2 在不牺牲精确性的情况下，如何使拒绝采样在高维空间中更高效？
• RQ3 能否比对所有候选进行全局 $ L_p $-范数优化更有效地利用被拒绝样本，引导提议上界的自适应改进？
• RQ4 改进策略对高维模型中总计算时间的影响是什么？
• RQ5 OS* 框架能否在高阶 HMM 和大型图形模型的精确解码中达到最先进性能？

主要发现

• OS* 算法在从大型离散图形模型中采样时，相比基线方法最高可实现 10 倍加速，这得益于基于被拒绝样本的自适应改进。
• 仅在被拒绝点进行改进的策略（策略 ii）实现了最优的总计算时间，优于基于所有候选全局 $ L_p $-范数优化的策略。
• 接受率最高的策略（iv）所需总时间反而超过策略（ii），表明当改进成本不可忽略时，最大化每步改进的接受率并非最优。
• 对 n-gram 概率采用变阶数的最大后退边界，实现了高阶 HMM 精确解码的最先进性能。
• 该方法在统一框架下支持采样与优化，且为 $ L_1 $-范数（采样）和 $ L_\infty $-范数（优化）改进提供了动态规划方法。
• 该算法基于拒绝事件的自适应改进在计算上比评估所有潜在的一步改进更具优势，尤其是在高维空间中。