[论文解读] Negative Examples for Sequential Importance Sampling of Binary Contingency Tables

Ivona Bezáková, Alistair Sinclair+2 more|arXiv (Cornell University)|Jun 26, 2006

Markov Chains and Monte Carlo Methods参考文献 8被引用 4

一句话总结

本文证明，对于二元列联表的顺序重要性采样（SIS），即使在子指数数量的试验之后，仍可能以指数因子系统性地低估真实有效的 0/1 矩阵数量，且无论行/列的排序如何，这一问题均存在。作者提出了一类理论上的反例，并通过实验证据表明，SIS 在结构化输入上收敛缓慢且不准确，揭示了尽管 SIS 在实践中广受欢迎，但其仍存在根本性局限。

ABSTRACT

The sequential importance sampling (SIS) algorithm has gained considerable popularity for its empirical success. One of its noted applications is to the binary contingency tables problem, an important problem in statistics, where the goal is to estimate the number of 0/1 matrices with prescribed row and column sums. We give a family of examples in which the SIS procedure, if run for any subexponential number of trials, will underestimate the number of tables by an exponential factor. This result holds for any of the usual design choices in the SIS algorithm, namely the ordering of the columns and rows. These are apparently the first theoretical results on the efficiency of the SIS algorithm for binary contingency tables. Finally, we present experimental evidence that the SIS algorithm is efficient for row and column sums that are regular. Our work is a first step in determining the class of inputs for which SIS is effective.

研究动机与目标

• 研究顺序重要性采样（SIS）在估计给定行和列和的二元列联表数量时的理论可靠性。
• 识别 SIS 即使在子指数采样下也无法收敛到准确估计的输入结构。
• 挑战 SIS 是此组合估计问题中稳健高效方法的普遍假设。
• 提供实验和理论证据，表明对于某些结构化的行和列和配置，SIS 可能存在指数级低效。

提出的方法

• 作者构建了一类具有特定行和列和的二元列联表实例，这些实例会导致 SIS 系统性地以指数因子低估真实计数。
• 他们分析了在任何行和列排序下 SIS 算法的行为，证明估计器收敛到的值远小于真实基数的指数级大小。
• 该方法依赖于对 SIS 中重要性权重的分析，表明采样所用的概率分布会导致某些输入类型产生高度偏差的估计。
• 作者使用停止启发式方法测量收敛时间，并在不同输入类型（包括规则和非规则度序列）之间进行比较。
• 他们将分析扩展到一种增强的 SIS 变体，该变体根据剩余和交替更新行和列，测试其在新反例上的性能。
• 实验评估涉及在特定困难实例上进行 3000 万次 SIS 试验，测量多次运行中估计值的方差和收敛性。

实验结果

研究问题

• RQ1 即使在子指数数量的试验下，二元列联表的顺序重要性采样（SIS）是否可以被严格证明不准确？
• RQ2 是否存在 SIS 会持续以指数因子低估真实列联表数量的输入配置？
• RQ3 SIS 的性能是否依赖于行和列的排序，还是存在即使在设计选择下也无法避免的结构性限制？
• RQ4 一种在行和列之间交替更新的增强 SIS 策略，是否能改善在困难实例上的收敛性？
• RQ5 实验结果与关于收敛时间和估计偏差的理论预测相比如何？

主要发现

• SIS 算法即使在子指数数量的试验后，对于任何行和列排序，仍可能以指数因子低估真实二元列联表的数量。
• 作者构建了一类特定输入，其 SIS 估计器收敛到的值远小于真实基数的指数级大小，证明 SIS 并非普遍可靠。
• 对于规则的行和列和（例如 5、10 或 n/2-正则），SIS 以子指数时间收敛并产生准确估计，表明其在结构化输入上是有效的。
• 在一种更复杂的输入上（例如交替的低和高和，如 1 和 floor(m/2)），即使增强的 SIS 变体在 3000 万次试验后仍无法收敛，估计值差异达 10^3 倍。
• 实验结果表明，增强的 SIS 算法在某些结构化输入上也可能需要指数时间，尽管尚未有正式证明。
• 本文表明，尽管 SIS 在理论上是无偏估计器，但由于重要性采样权重不佳，仍可能收敛到错误值，从而挑战其实际可靠性。