[论文解读] Optimal unbiased estimators via convex hulls

Nabil Kahalé|arXiv (Cornell University)|Sep 6, 2019

Statistical Methods and Inference参考文献 17被引用 4

一句话总结

本文提出一种基于凸包的几何算法，以 O(m) 时间复杂度计算蒙特卡洛方法中最优无偏估计量，显著优于以往的 O(m³) 方法。该文建立了耦合和独立和估计量平方可积性的必要与充分条件，并通过凸包给出了最大化估计量效率的分布的几何表征。

ABSTRACT

Necessary and sufficient conditions for the square-integrability of recently proposed unbiased estimators are established. A geometric characterization of a distribution that optimizes the performance of these estimators is given. An algorithm based on convex hulls that finds the optimal distribution truncated to its first m terms in time linear in m is described. The algorithm exploits a connection with a recent randomized dimension reduction method and is illustrated via a numerical example.

研究动机与目标

• 建立蒙特卡洛方法中耦合和估计量与独立和估计量平方可积性的必要与充分条件。
• 利用凸包对无限支撑分布进行几何表征，以优化这些估计量的性能。
• 开发一种计算高效的算法，以 O(m) 时间复杂度计算这些估计量的最优 m-截断分布。
• 通过与随机化维度约减的联系，改进现有 O(m³) 动态规划方法，实现更优性能。
• 通过数值示例和理论保证，展示所提方法的实用性和高效性。

提出的方法

• 利用凸包识别最优分布，通过求解几何优化问题来获得无偏估计量的最优性。
• 对序列 (ϑ_i, γ_i) 构建下凸包，通过负斜率的仿射段推导出最优 q*。
• 采用优化问题的对偶形式，通过利用下凸包的性质，实现 O(m) 的线性时间复杂度。
• 在新的平方可积性条件下，利用涉及 γ_i 差值的级数表达式推导估计量的二阶矩。
• 利用柯西-施瓦茨不等式进行性能上界估计，并证明所推导估计量的最优性。
• 借鉴先前工作的动态规划思想，但通过几何洞察重新表述问题，避免立方级复杂度。

实验结果

研究问题

• RQ1 耦合和估计量与独立和估计量平方可积性的必要与充分条件是什么？
• RQ2 如何通过几何方式表征最优无限支撑分布，以最大化估计量效率？
• RQ3 能否利用几何技术加速寻找最优 m-截断分布的 O(m³) 动态规划算法？
• RQ4 随机化维度约减方法与无偏估计量优化之间存在何种关系？
• RQ5 基于凸包的算法如何在保持最优性的同时实现 O(m) 时间复杂度？

主要发现

• 本文建立了耦合和估计量与独立和估计量平方可积性的必要与充分条件，该条件比 Glynn & Rhee (2015) 提出的充分条件更弱。
• 最优分布被表征为：其对偶序列位于集合 {(ϑ_i, γ_i)} 的下凸包上，从而确保最小方差。
• 所提算法通过利用参数空间的凸包结构，以 O(m) 时间复杂度计算最优 m-截断分布。
• 该方法在性能上与 O(m³) 动态规划方法相当，但显著提升了运行速度，使其适用于高维问题。
• 该算法源于与随机化维度约减的联系，被证明等价于在 O(m) 时间内求解同一优化问题。
• 数值结果证实，基于凸包的方法可产生最小方差的估计量，并在不同参数设置下表现出鲁棒性。