[论文解读] The Synthesis and Analysis of Stochastic Switching Circuits

Hongchao Zhou, Po‐Ling Loh+1 more|arXiv (Cornell University)|Sep 4, 2012

DNA and Biological Computing参考文献 15被引用 9

一句话总结

本文研究了使用有理概率的pswitches的随机切换电路的鲁棒性、表达能力和近似性。证明了简单串并联（ssp）电路对小误差扰动具有鲁棒性，而一般串并联电路则不具备，且建立了当 $ q $ 是2或3的倍数时，ssp电路可以合成分母为 $ q^n $ 的所有有理概率，但当 $ q $ 为大于3的素数时则不能。提出了一种贪心局部优化算法，能够随着电路规模增大实现指数级减小的误差。

ABSTRACT

Stochastic switching circuits are relay circuits that consist of stochastic switches called pswitches. The study of stochastic switching circuits has widespread applications in many fields of computer science, neuroscience, and biochemistry. In this paper, we discuss several properties of stochastic switching circuits, including robustness, expressibility, and probability approximation. First, we study the robustness, namely, the effect caused by introducing an error of size εto each pswitch in a stochastic circuit. We analyze two constructions and prove that simple series-parallel circuits are robust to small error perturbations, while general series-parallel circuits are not. Specifically, the total error introduced by perturbations of size less than εis bounded by a constant multiple of εin a simple series-parallel circuit, independent of the size of the circuit. Next, we study the expressibility of stochastic switching circuits: Given an integer q and a pswitch set S=\{\frac{1}{q},\frac{2}{q},...,\frac{q-1}{q}\}, can we synthesize any rational probability with denominator q^n (for arbitrary n) with a simple series-parallel stochastic switching circuit? We generalize previous results and prove that when q is a multiple of 2 or 3, the answer is yes. We also show that when q is a prime number larger than 3, the answer is no. Probability approximation is studied for a general case of an arbitrary pswitch set S=\{s_1,s_2,...,s_{|S|}\}. In this case, we propose an algorithm based on local optimization to approximate any desired probability. The analysis reveals that the approximation error of a switching circuit decreases exponentially with an increasing circuit size.

研究动机与目标

• 分析在pswitch概率存在小误差扰动时，随机切换电路的鲁棒性。
• 确定使用给定的pswitch集合 $ S = \{\frac{1}{q}, \frac{2}{q}, \dots, \frac{q-1}{q}\} $ 的简单串并联（ssp）电路能够精确合成的概率集合。
• 开发一种高效算法，使用最小电路规模和低误差来近似任意目标概率。
• 理解ssp电路在何种条件下可实现高精度的概率合成或近似。

提出的方法

• 通过界定单个pswitch扰动大小为 $ \epsilon $ 时引入的总误差，分析串并联电路中的误差传播，表明ssp电路的误差被有界为与电路规模无关的 $ \epsilon $ 的常数倍。
• 使用数学归纳法和递归电路组合，证明当 $ q $ 可被2或3整除时，ssp电路可实现任意有理概率 $ \frac{a}{q^n} $，基于电路的闭合概率 $ P(C) $。
• 提出一种贪心局部优化算法，每次插入两个pswitch以最小化每一步的近似误差，插入规则基于当前概率估计和pswitch集合 $ S $。
• 使用递归误差函数推导近似误差的上界，表明近似误差随电路规模 $ n $ 增大而呈指数衰减，尤其在 $ m=2 $ 次插入时表现显著。
• 将该算法应用于具体情形，如 $ S = \{\frac{1}{5}, \frac{2}{5}, \frac{3}{5}, \frac{4}{5}\} $，展示一个包含5个pswitch的电路实现了 $ \left| \frac{3}{7} - 0.4278 \right| = 7.3 \times 10^{-4} $ 的误差。
• 使用数学归纳法和情形分析，证明每步误差减少因子至多为 $ \Delta(1 - \Delta) $，其中 $ \Delta = \frac{1}{q} $，从而导致误差呈指数衰减。

实验结果

研究问题

• RQ1 在何种条件下，随机切换电路对pswitch概率的小扰动具有鲁棒性？
• RQ2 对于给定的pswitch集合 $ S = \{\frac{1}{q}, \frac{2}{q}, \dots, \frac{q-1}{q}\} $，哪些有理概率能通过简单串并联电路精确合成？
• RQ3 是否可以使用通用pswitch集合来以低误差和小电路复杂度近似任意期望概率？
• RQ4 在使用贪心构造算法时，近似误差如何随电路规模变化？
• RQ5 对于任意pswitch集合，随机切换电路的近似精度理论上存在何种极限？

主要发现

• 简单串并联（ssp）电路对小误差扰动具有鲁棒性：单个pswitch误差大小为 $ \epsilon $ 时引入的总误差被有界为与电路规模无关的 $ \epsilon $ 的常数倍。
• 一般串并联电路不具备鲁棒性；即使在单个扰动较小时，误差也可能随电路规模累积并增长。
• 当 $ q $ 是2或3的倍数时，所有形如 $ \frac{a}{q^n} $ 的有理概率均可使用来自 $ S = \{\frac{1}{q}, \frac{2}{q}, \dots, \frac{q-1}{q}\} $ 的pswitch通过ssp电路精确合成。
• 当 $ q $ 为大于3的素数时，无法使用ssp电路合成所有此类概率，表明其在表达能力上存在根本性限制。
• 使用 $ m=2 $ 次插入的贪心算法，其近似误差上界为 $ \frac{\Delta}{2} \left( \Delta(1 - \Delta) \right)^{\lceil n/2 \rceil - 1} $，表明误差随电路规模 $ n $ 呈指数衰减。
• 在具体示例 $ S = \{\frac{1}{5}, \frac{2}{5}, \frac{3}{5}, \frac{4}{5}\} $ 中，一个5个pswitch的电路将 $ \frac{3}{7} $ 近似为 $ 0.4278 $，误差仅为 $ 7.3 \times 10^{-4} $，验证了该算法的高精度。