[论文解读] On Exploration, Exploitation and Learning in Adaptive Importance Sampling

Xiaoyu Lu, Tom Rainforth+3 more|arXiv (Cornell University)|Oct 31, 2018

Advanced Bandit Algorithms Research参考文献 23被引用 4

一句话总结

本文提出 Daisee，一种基于划分的自适应重要性采样算法，通过借鉴多臂赌博机的置信上界思想，平衡探索与利用，实现累积伪遗憾为 $\mathcal{O}(\sqrt{T}(\log T)^{3/4})$。此外，本文进一步提出 HiDaisee，一种分层扩展，可自适应地学习划分结构，提升采样效率与在复杂目标分布上的实际性能。

ABSTRACT

We study adaptive importance sampling (AIS) as an online learning problem and argue for the importance of the trade-off between exploration and exploitation in this adaptation. Borrowing ideas from the bandits literature, we propose Daisee, a partition-based AIS algorithm. We further introduce a notion of regret for AIS and show that Daisee has $\mathcal{O}(\sqrt{T}(\log T)^{\frac{3}{4}})$ cumulative pseudo-regret, where $T$ is the number of iterations. We then extend Daisee to adaptively learn a hierarchical partitioning of the sample space for more efficient sampling and confirm the performance of both algorithms empirically.

研究动机与目标

• 将自适应重要性采样（AIS）形式化为一个具有显式探索-利用权衡的在线学习问题。
• 通过借鉴多臂赌博机理论，特别是置信上界（UCB）原理，开发一种最小化遗憾的 AIS 算法。
• 将该方法扩展为可动态学习样本空间分层划分结构，以提升效率与准确性。
• 在 KL 散度与 $\alpha$-散度度量下，为所提算法提供理论遗憾界。
• 在具有挑战性的目标分布上，包括高维与偏斜密度，对 Daisee 与 HiDaisee 的性能进行实证验证。

提出的方法

• Daisee 将样本空间划分为 $K$ 个互不相交的子集，并在这些子集上维护一个提议分布。
• 采用类似 UCB 的‘面对不确定性时的乐观’策略，平衡基于目标密度估计的利用与通过置信区间实现的探索。
• 通过结合经验重要性权重与基于估计方差推导出的探索奖励，更新提议权重。
• 使用提议分布与目标分布之间的 Kullback-Leibler（KL）散度作为损失函数，分析累积伪遗憾。
• HiDaisee 通过递归分割树结构中的节点，以在线方式学习划分结构，其依据为有效样本量（ESS）与停止准则。
• 树结构通过自上而下传播估计值，将每次采样的成本从 $\mathcal{O}(K)$ 降低至 $\mathcal{O}(\log K)$，从而实现高效采样。

实验结果

研究问题

• RQ1 自适应重要性采样中的探索-利用权衡能否通过在线学习原理进行形式化与优化？
• RQ2 在 KL 散度损失下，自适应重要性采样的理论遗憾界可建立为何种形式？
• RQ3 分层划分如何提升自适应重要性采样的效率与准确性？
• RQ4 该算法能否在无需先验知识的情况下，动态适应目标密度的复杂性？
• RQ5 在收敛速度与估计准确性方面，HiDaisee 与现有方法相比表现如何？

主要发现

• Daisee 实现了 $\mathcal{O}(\sqrt{T} (\log T)^{3/4})$ 的累积伪遗憾，表明每次迭代的遗憾随时间推移而减小。
• 该遗憾界在温和假设下成立，并可推广至 $\alpha$-散度度量，包括 $\alpha=2$ 时的重要性权重方差。
• 在具有不连续与非平坦区域的一维目标分布上，尽管初始收敛较慢，HiDaisee 在最终 KL 损失上仍优于 Daisee。
• HiDaisee 中的分层结构可自优化：在平坦、低密度区域停止分裂，而在高密度、非均匀区域持续分裂。
• 在二维香蕉形目标分布上，HiDaisee 在边际似然估计的平方误差上优于 PI-MAIS，尤其在样本量较大与层次结构更复杂时表现更优。
• HiDaisee 中的划分数量收敛至一个稳定且最优的结构，实现了估计准确性与计算成本之间的良好平衡。