[论文解读] Sampling with Riemannian Hamiltonian Monte Carlo in a Constrained Space

Yunbum Kook, Yin Tat Lee+2 more|arXiv (Cornell University)|Feb 3, 2022

Bioinformatics and Genomic Networks被引用 20

一句话总结

CRHMC 将约束直接整合到黎曼高斯哈密顿采样中，以高效采样病态、高维受约束分布，保持稀疏性并实现与条件数无关的混合；在真实数据集上比 CHRR/CDHR 效果高出数个数量级。

ABSTRACT

We demonstrate for the first time that ill-conditioned, non-smooth, constrained distributions in very high dimension, upwards of 100,000, can be sampled efficiently $ extit{in practice}$. Our algorithm incorporates constraints into the Riemannian version of Hamiltonian Monte Carlo and maintains sparsity. This allows us to achieve a mixing rate independent of smoothness and condition numbers. On benchmark data sets in systems biology and linear programming, our algorithm outperforms existing packages by orders of magnitude. In particular, we achieve a 1,000-fold speed-up for sampling from the largest published human metabolic network (RECON3D). Our package has been incorporated into the COBRA toolbox.

研究动机与目标

• 在系统生物学和线性规划中常见的病态条件下，推动高维受约束采样的研究。
• 开发保留稀疏性并满足线性约束的受约束黎曼HMC（CRHMC）。
• 给出具有理论保证的实用、可扩展实现。
• 在基准代谢网络和线性规划数据集上展示相对于现有方法的实证加速。

提出的方法

• 将 RHMC 扩展为通过一个受约束的哈密顿量来强制线性约束，选择一个精心挑选的 M(x)，其取值范围与约束的零空间相匹配。
• 使用基于自恰障碍的局部度量 g(x) 来定义 M(x)=Q(x)ᵀ g(x) Q(x)，从而保持稀疏性和约束可行性。
• 采用隐式中点积分法进行离散化，以保持辛结构、可逆动力学并实现Metropolis修正。
• 推导高效公式，通过用 g(x) 和 Dc(x) 表达 M(x)† 和 log pdet M(x)，来避免伪逆/伪行列式；并利用稀疏线性求解器。
• 简化子空间约束以降低计算量，并通过稀疏 Cholesky分解高效计算杠杆分数，避免密集更新。
• 为 c(x)=Ax−b 的情形提供专门化更新，以进一步简化动力学并避免密集矩阵运算。

实验结果

研究问题

• RQ1 我们能否在非常高维度的情况下从 e^−f(x) subject to Ax=b and x ∈ K 高效抽样吗？
• RQ2 CRHMC 是否在病态、受约束、非平滑设置中实现与条件数无关的混合时间？
• RQ3 在受约束的哈密顿动力学中，如何在不产生高代价的情况下维持稀疏性与可行性？
• RQ4 与现有受约束采样器相比，CRHMC 在真实数据集（系统生物学、LP）上能实现哪些实际加速与可扩展性？

主要发现

• CRHMC 实现了低于二次的混合与采样时间，并且可以扩展到非常大的模型（高达 ~100k 变量），而 CHRR/CDHR 难以达到。
• 在多组真实数据集（代谢网络和 NETLIB LPs）上，CRHMC 在混合速率与有效样本时间方面均领先 CHRR 和 CDHR 数个数量级。
• CRHMC 使从大型受约束多面体（如 Recon3D）采样成为可能，相较于最大公开模型有显著加速（最高可达到 1000×）。
• 结构化实验表明 CRHMC 能扩展到半百万维度的超立方体和单纯形，以及到 10^5 的 Birkhoff 多面体，且有效样本量在合理范围内。
• 统一性检验表明 CRHMC 采样的分布接近对所考察多面体的均匀分布。