[论文解读] Stochastic Control via Entropy Compression

Dimitris Achlioptas, Fotis Iliopoulos+1 more|arXiv (Cornell University)|Jul 1, 2016

Advanced Control Systems Optimization被引用 3

一句话总结

本文提出一种基于熵压缩的随机控制框架，用于管理在对抗性噪声影响下的系统，其中状态观测与演化过程均受到干扰。通过熵量化进展与噪声，建立了噪声强度与系统可控制性之间的权衡关系，并在无噪声极限下恢复了非对称Lovász局部引理（LLL）条件。

ABSTRACT

We consider an agent trying to bring a system to an acceptable state by repeated probabilistic action. Several recent works on algorithmizations of the Lovasz Local Lemma (LLL) can be seen as establishing sufficient conditions for the agent to succeed. Here we study whether such stochastic control is also possible in a noisy environment, where both the process of state-observation and the process of state-evolution are subject to adversarial perturbation (noise). The introduction of noise causes the tools developed for LLL algorithmization to break down since the key LLL ingredient, the sparsity of the causality (dependence) relationship, no longer holds. To overcome this challenge we develop a new analysis where entropy plays a central role, both to measure the rate at which progress towards an acceptable state is made and the rate at which noise undoes this progress. The end result is a sufficient condition that allows a smooth tradeoff between the intensity of the noise and the amenability of the system, recovering an asymmetric LLL condition in the noiseless case.

研究动机与目标

• 解决在状态观测与演化过程均受对抗性扰动的噪声环境中进行随机控制的问题。
• 克服现有Lovász局部引理（LLL）算法化工具因噪声导致因果依赖稀疏性丧失而失效的问题。
• 构建一种新的分析框架，其中熵同时衡量向可接受状态的进展以及由噪声引起的退化。
• 建立一个充分条件，使控制在噪声与无噪声状态之间平滑过渡。
• 在噪声强度趋近于零时，恢复非对称LLL条件作为特例。

提出的方法

• 使用熵来衡量在重复概率性操作过程中向可接受系统状态推进的速率。
• 将噪声建模为影响状态观测与状态演化的对抗性扰动，破坏标准LLL依赖关系。
• 该框架引入熵增益（进展）与熵损失（噪声引起的退化）之间的平衡，以评估系统稳定性。
• 应用一种新颖的熵压缩论证，以在存在噪声的情况下界定达到可接受状态所需的步数。
• 推导出一个充分条件，其依赖于噪声强度与系统结构之间的相互作用。
• 通过将噪声作为可调参数引入，推广了非对称LLL条件的分析。

实验结果

研究问题

• RQ1 在状态观测与演化过程均受对抗性噪声影响的系统中，能否实现随机控制？
• RQ2 噪声如何破坏基于LLL的算法化所依赖的因果依赖稀疏性？
• RQ3 在多大程度上可利用熵来量化向目标状态的进展以及由噪声引起的退化？
• RQ4 在噪声动力学下，何种充分条件可确保收敛至可接受状态？
• RQ5 所提出的方法如何在无噪声极限下恢复非对称LLL条件？

主要发现

• 该框架通过平衡熵增益与熵损失，成功建立了在对抗性噪声下实现随机控制的充分条件。
• 证明了噪声强度与系统可控制性之间存在平滑权衡，即使在高度扰动的环境中也能实现控制。
• 该方法推广了非对称LLL条件，当噪声消失时可精确恢复该条件。
• 熵压缩提供了一种稳健的分析工具，即使在因果依赖关系中缺乏稀疏性的情况下，也能界定收敛时间。
• 该方法通过以基于熵的推理替代依赖稀疏性，克服了先前LLL算法化技术在噪声环境中的失效问题。