[论文解读] Quasi-Reliable Estimates of Effective Sample Size

Youhan Fang, Yudong Cao+1 more|arXiv (Cornell University)|May 10, 2017

Markov Chains and Monte Carlo Methods被引用 4

一句话总结

本文提出了一种准可靠的马尔可夫链蒙特卡洛（MCMC）有效样本量（ESS）估计方法，通过识别所有可能可观测变量中最大的自相关时间 τ_max 实现。通过在基函数上求解广义特征值问题来估计 τ_max，该方法相较于标准 ESS 估计，提供了更稳健的采样充分性指标，尤其在多模态分布中表现更优，因为此时单个可观测变量可能给出具有误导性的低 τ 值。

ABSTRACT

The efficiency of a Markov chain Monte Carlo algorithm might be measured by the cost of generating one independent sample, or equivalently, the total cost divided by the effective sample size, defined in terms of the integrated autocorrelation time. To ensure the reliability of such an estimate, it is suggested that there be an adequate sampling of state space--- to the extent that this can be determined from the available samples. A possible method for doing this is derived and evaluated.

研究动机与目标

• 提升 MCMC 中有效样本量（ESS）估计的可靠性，尤其针对标准 ESS 估计可能产生误导的多模态分布。
• 通过引入采样覆盖范围的“全面性”度量，应对状态空间采样不充分的风险。
• 开发一种计算上可行的方法，用于估计所有可观测变量中可能的最大积分自相关时间 τ_max。
• 提供一种比基于单个可观测变量的 τ 估计更保守、更可靠的收敛性诊断方法。
• 证明 τ_max 比特定可观测变量的 ESS 或 τ 更能反映采样充分性。

提出的方法

• 将 τ_max 定义为状态空间上所有函数的最长自相关时间，即积分自相关时间的上确界。
• 使用有限组基函数近似最大化可观测变量，将无限维问题转化为广义特征值问题。
• 通过求解涉及前向转移算子和滞后窗自协方差矩阵的广义特征值问题，来估计 τ_max。
• 在多个测试案例中应用该方法，包括高斯混合模型、神经网络和逻辑回归，将 τ_max 与单个可观测变量的 τ 及 ESS 进行比较。
• 采用滞后窗方法估计 τ，附录 A 中提供了另一种推导方式，以提升相对于 prior 工具（如 acor）的可靠性。
• 通过验证 τ_max 收敛与关键指标（如训练误差和均方误差）收敛一致，验证了该方法的有效性。

(a) 5000 samples

实验结果

研究问题

• RQ1 最大可能自相关时间 τ_max 是否可作为比基于单个可观测变量的 τ 估计更可靠的 MCMC 采样充分性指标？
• RQ2 如何从有限的 MCMC 样本中高效估计 τ_max，而无需枚举所有函数？
• RQ3 τ_max 在多模态分布中检测采样不充分的程度如何，尤其当单个可观测变量看似已充分混合时？
• RQ4 τ_max 的收敛是否与机器学习模型中预测误差或训练损失等实际指标的收敛一致？
• RQ5 基于基函数的广义特征值方法能否以适中的计算成本可靠地近似 τ_max？

主要发现

• 在一节点神经网络示例中，τ_max 仅在 N > 2×10⁴ 样本后才收敛，而单个可观测变量（如 q₁ 和预测值）的 τ ≈ 1，表明存在虚假收敛。
• 在逻辑回归中，训练和测试误差仅在 N > 1000 后才收敛，但单个可观测变量的 τ ≈ 1，错误地暗示了独立性。
• 在神经网络模型中，预测的 ESS 在 N ≈ 100 时显得误导性地偏高，而 τ_max 需要更大的样本量才能稳定。
• 广义特征值方法成功识别出 τ_max 显著大于单个 τ 值，证实其在检测慢混合行为中的作用。
• 该方法在 τ 值较高时，其 τ_max 估计比 acor 程序更可靠。
• τ_max 的收敛与均方误差和预测准确率的收敛一致，验证了其用作收敛诊断指标的有效性。

(b) Trajectories of $q_{1}$ and $q_{2}$